Как запустить несколько серверов scrapyd?

Question

Я искал документацию по сервису Scrapyd, но он очень тонкий. Мне было интересно, если у кого-нибудь есть идеи, как настроить несколько серверов Scrapyd, которые указывают на одну и ту же очередь расписания?

Answer 1

Я не знаю ни о какой "очереди по расписанию", но запустить несколько scrapyd'ов легко, открыв пару экранов и запустив scrapy server,

Вы можете настроить номер порта scrapyd, установив / изменив следующую опцию в вашем PROJECT_DIRECTORY/scrapyd.conf:

[scrapyd]
http_port = 6969

Через http://doc.scrapy.org/en/latest/topics/scrapyd.html

Answer 2

Как насчет использования той же базы данных sqlite? Dbs_dir установлен в scrapyd.script._get_config(),