Процессы Crawler неожиданно умирают
Я столкнулся с проблемой неожиданного прекращения работы процессов сканирования.
Я использую терапию 0,14, проблема существовала и в 0,12.
Журнал скрапа показывает записи типа: Процесс умер: exitstatus= Нет Журналы паука не показывают информацию о закрытом пауке, как это отражено в статусе моей базы данных.
Кто-нибудь еще сталкивался с подобной ситуацией? Как я могу проследить причину исчезновения этих процессов, какие-либо идеи, предложения?
1 ответ
Я думаю, у меня была похожая ситуация.
Причиной того, что процессы умирали, было то, что пауки генерировали исключение, заставляющее процесс останавливаться.
Чтобы выяснить исключение, посмотрите на файлы журналов где-то в .scrapy папка. Для каждого запущенного процесса сканирования сканер создает файл журнала с идентификатором задания в своем имени.