Утилита Datastax DSBulk выдает ошибки при загрузке данных CSV в Astra

Question

Я переношу данные с узлов EC2 Cassandra на DataStax Astra (Premium Account) с помощью утилиты DSBulk.

Используемая команда: dsbulk load -url folder_created_during_unload -header true -k keyspace -t table -b "secure-connect-file.zip" -u username -p password

Эта команда выдает ошибку через несколько секунд. Проверив документацию, я обнаружил, что могу добавить --executor.maxPerSecond в этой команде, чтобы ограничить загрузку.

После этого команда загрузки выполнилась без ошибок. Но если я введу значение более 15000, команда загрузки снова начнет выдавать ошибку.

Теперь, если таблица имеет более 100 миллионов записей и 15000 записей переносятся каждую секунду, на завершение миграции одной таблицы уйдут часы и часы. Перенос всей базы данных займет несколько дней.

Я хочу понять, что вызывает эту ошибку, и есть ли способ загрузить данные с большей скоростью.

Answer 1

Что здесь происходит, так это то, что DSBulk достигает предела скорости в базе данных. На данный момент похоже, что единственный способ увеличить это ограничение - это отправить заявку в службу поддержки.

Чтобы отправить заявку, найдите раздел «Другие ресурсы» в левой навигационной панели Astra Dashboard. Нажмите «Получить поддержку» внизу.

Когда появится «Справочный центр», нажмите «Создать запрос» в правом нижнем углу.

На следующей странице нажмите зеленую / голубую кнопку «Отправить заявку» в правом верхнем углу. Опишите возникшую у вас проблему (ограничение скорости), а также то, что выводит DSBulk, если установлено значение более 15 Кбит / с.

Answer 2

Чтобы добавить к ответу Аарона, вы достигли установленного по умолчанию ограничения в 4 КБ операций в секунду в вашей базе данных Astra.

На прошлой неделе мы связались с вами напрямую, когда обнаружили, что вы достигли предела, но не получили ответа. Сегодня я снова обратился к вам напрямую, чтобы сообщить, что я зарегистрировал от вашего имени запрос на увеличение лимита для вашей БД. Ваше здоровье!