Не удалось выполнить задание Scrapinghub - невозможно диагностировать
Паук остановился в середине обхода (после 7-часового прогона 20 000 запросов). Статус задания "провал". Даже если в журнале нет сообщений об ошибках. Журнал выглядит так, как будто код просто перестал работать в определенном диапазоне строк кода без каких-либо сообщений об ошибках. Это произошло в переопределении метода spider_idle. Журналы включены, и я вижу все предыдущие сообщения INFO, указывающие на нормальную работу паука. Я не знаю, как включить сообщения DEBUG в журнале scrapinghub.
Проверено потребление памяти - оно стабильно, по крайней мере, в коротких тестах, теперь ждет результатов долгосрочного запуска.
Как я могу получить дополнительную информацию после того, как работа "не удалась"?
1 ответ
Задания автоматически останавливаются в течение 24 часов для бесплатных аккаунтов. Статус "отменен", и журнал показывает SIGTERM в этом случае, как правило.