Описание тега scrapyd
Scrapyd - это демон для управления проектами Scrapy. Раньше этот проект был частью самого scrapy, но был выделен в отдельный проект. Он запускается на компьютере и позволяет развертывать (также называемые загружать) ваши проекты и контролировать содержащихся в них пауков с помощью веб-службы JSON.
Scrapyd может управлять несколькими проектами, и каждый проект может иметь несколько загруженных версий, но для запуска новых пауков будет использоваться только последняя версия.