Настройка ОЗУ в Nutch
Я использую Nutch 1.10 для сканирования веб-сайтов для своей организации. Я использую систему с 16 ГБ ОЗУ для этого сканирования. На данный момент мой ореховый файл использует только 3-4 ГБ ОЗУ при сканировании данных, и для его завершения требуется почти 10 часов. Есть ли способ, где я могу настроить орех для использования более 12 ГБ ОЗУ для завершения той же задачи? Все предложения приветствуются!
1 ответ
Предполагается, что сценарий bin/nutch или bin/crawl используется для сканирования в локальном режиме (без кластера Hadoop): переменная среды NUTCH_HEAPSIZE определяет размер кучи в МБ.