Какие преимущества использования скрапида?
Документ Scrapy говорит, что:
Scrapy поставляется со встроенным сервисом, называемым "Scrapyd", который позволяет вам развертывать (или загружать) ваши проекты и управлять их пауками с помощью веб-сервиса JSON.
есть ли какие-то преимущества в комфортности использования скрапа?
1 ответ
Scrapyd позволяет запускать scrapy на другом компьютере, чем тот, который вы используете, с помощью удобного веб-API, что означает, что вы можете просто использовать curl или даже веб-браузер для загрузки новых версий проекта и их запуска. В противном случае, если вы хотите запустить Scrapy в облаке, вам придется scp скопируйте новый код паука и затем войдите с ssh и породить scrapy crawl myspider,
Scrapyd также будет управлять процессами для вас, если вы хотите запустить много пауков параллельно; но если у вас есть Scrapy на вашем локальном компьютере, и у вас есть доступ к командной строке или способу запуска пауков, и вы просто хотите запускать по одному пауку за раз, тогда лучше запускать паука вручную.
Если вы разрабатываете пауков, то наверняка вы не хотите использовать scrapyd для быстрых итераций компиляции / тестирования, поскольку это просто добавляет уровень сложности.