Скрап-сервис и периодическая утилизация в virtualenv
Когда я впервые установил scrapyd в Ubuntu 14.04, я не использовал общий способ.
Используя apt-get, мой scrapyd считался сервисом, который можно запускать и иметь (log / config / dbs...) зависимости, однако версия scrapy была очень устаревшей.
Таким образом, я установил scrapyd с pip в virtualenv. Хотя это и актуально, я не могу запустить scrapyd как сервис и не могу найти никаких зависимостей. Где я могу создать файл конфигурации, чтобы связать (eggs / dbs / items / log) зависимости?
У меня более 10 пауков. Используя удаленный сервер Ubuntu, я хочу, чтобы каждый паук периодически отбрасывал ( например, слабый) и отправлял данные в mangodb. Большинству пауков не нужно ломать одновременно.
Каков наилучший подход для запуска scrapyd как сервиса и периодического запуска его пауков на моем сервере Ubuntu?