Ускорьте время инициализации пауков
У меня есть несколько пауков Scrapy, которые мне нужно запускать одновременно каждые 5 минут. Проблема в том, что запуск занимает от 30 секунд до 1 минуты.
Кажется, что все они запускают свой собственный витой двигатель, и это занимает много времени.
Я рассмотрел различные способы одновременного запуска нескольких пауков (см. Раздел "Запуск нескольких пауков одновременно" для одного веб-сайта?), Но мне нужно иметь журнал для каждого паука и процесс для каждого паука, чтобы хорошо интегрироваться с Airflow,
Я изучал scrapyd, но похоже, что он не имеет общего механизма для нескольких пауков, верно?
Это разные способы достижения моих целей?