Не удается запустить параллельные задания в Heritrix3 Web Crawler
Я создал 2 задания в Heritrix 3.2.0 и запустил оба после сборки, оба запустились, но через 15–20 секунд одно задание останавливается, а другое продолжается, и когда задание останавливается, состояние в журнале заданий выглядит следующим образом:
2015-05-12T06: 40: 33.715Z INFO EMPTY 20150512063923
Так что не мог многозадачность. Как это исправить?
1 ответ
Нет, это просто означает, что эта работа выполнена (очередь пуста). Если ни одна страница не была загружена, это, вероятно, означает, что ваши правила принятия решений слишком строги и не позволяют ничего скачивать.