Почему загрузка аналитики dashDB с помощью поточной подачи плохая идея?
У меня есть сценарий использования, когда мне постоянно нужно перетаскивать данные подачи в dashDB, однако мне сообщили, что это не оптимально для dashDB.
Почему это не оптимально? Есть ли обходной путь?
2 ответа
Хранилища столбцов отлично подходят для чтения, но если вы вставляете одну строку в таблицу N столбцов, тогда система должна разрезать строку на части и выполнить N отдельных записей на диск. Это делает небольшие вставки относительно неэффективными, и в результате все может замедлиться.
Вы можете сделать начальную загрузку данных. В настоящее время словарь сжатия создается только для массовых загрузок, поэтому, если вы начнете с новой таблицы и заполните ее только вставками, данные вообще не сжимаются.
Попробуйте распределить загрузку по микробатам с циклом загрузки 2-5 минут.
Какой здесь вариант использования? Проверьте, может ли dashDB Transactional решить вашу проблему. Транзакция DashDB настроена для транзакций OLTP и торговых точек, и это то, что вы пытаетесь передать.