MarkLogic 9 - Слияние при запуске corb

Question

Слияние происходит во время процесса corb для добавления узлов более 10 миллионов документов. CPU/IO достигли максимального времени ожидания причины. если я отключу слияние, процесс карниза остановится из-за большого количества стоек. Что я могу сделать или решить проблемы.

• У меня 6 лесов.
• объединить максимальный размер 49152
• минимальный размер слияния 1024
• минимальный коэффициент объединения 3

Answer 1

Слияние - нормальный и ожидаемый процесс. Вы не хотите полностью блокировать его на длительный период времени, особенно при загрузке большого количества данных, иначе вы выйдете за пределы стенда.

Похоже, что ваш кластер не может справиться с такой нагрузкой и размером данных. Возможно, вам потребуется оценить, правильно ли он имеет размер и конфигурацию. Вы не упомянули спецификации серверов, сколько серверов в кластере и т. Д.

Несколько вариантов, чтобы попытаться сделать эту загрузку данных менее эффективной:

• Установите ограничение background-io

  Эта функция устанавливает ограничение на количество операций ввода-вывода, которые будут использовать фоновые задачи (например, слияния). Если предел достигнут, слияния будут ограничены, чтобы ограничить их максимальное количество операций ввода-вывода. Это может помочь в ситуациях, когда система ввода-вывода на компьютере перегружена. При обычных операциях вам не нужно устанавливать этот параметр.

• Уменьшите количество потоков CoRB, чтобы они загружались немного медленнее и позволяли системе поддерживать скорость, с которой перекачиваются данные.
• Время от времени приостанавливайте задание CoRB, чтобы дать возможность слияниям согласоваться, прежде чем возобновить его снова. Вы можете настроить COMMAND-FILE и приостановить / возобновить, изменив COMMAND вариант или включите пользовательский интерфейс, указав JOB-SERVER-PORT с открытым портом или диапазоном портов, которые можно попробовать использовать. Из пользовательского интерфейса вы можете приостанавливать / возобновлять и изменять количество потоков во время выполнения задания.