Альтернатива с открытым исходным кодом SCRAPY CLOUD от scrapinghub.com
Я начинаю использовать Scrapy Framework для задач сканирования / сканирования. Теперь мне нужно контролировать и управлять своими пауками. Я нашел Scrapy Cloud, решение от www.scrapinghub.com, но это решение не с открытым исходным кодом. Поэтому я спрашиваю, есть ли альтернатива с открытым исходным кодом этого решения? Благодарю.
1 ответ
(Отказ от ответственности: я работаю на Scrapinghub.)
Во-первых, не упускайте из виду то, что мы делаем с открытым исходным кодом. Это бесплатно как в свободе - OSS в нашей ДНК. У нас также есть бесплатный план для Scrapy Cloud - бесплатный, как в пиве.
Далее, нет никакой блокировки: ваш паук Scrapy будет работать где угодно. Scrapy Cloud заставляет его работать лучше. Потому что Splash, Frontera, Crawlera, мониторинг, доставка данных и многое другое - все в одном удобном месте.
Наконец, это действительно очень дешево, если вы посмотрите на математику. Scrapy Cloud - это специализированный хостинг: с эквивалентом DYI вы все равно будете тратить бесчисленные часы на установку и настройку той же инфраструктуры, а затем платить за серверы, пропускную способность и мониторинг для загрузки.
Это здесь; оно работает. Мы используем его для сканирования сотен миллионов страниц каждый месяц. Вы не можете пойти не так, по моему мнению. (Но да, я предвзятый.)