Описание тега scrapyd
Scrapyd - это демон для управления проектами Scrapy. Раньше этот проект был частью самого scrapy, но был выделен в отдельный проект. Он запускается на компьютере и позволяет развертывать (также называемые загружать) ваши проекты и контролировать содержащихся в них пауков с помощью веб-службы JSON.
1
ответ
Перезагрузить или убить сервер Scrapyd
У меня установлен и работает scrapyd на моем Mac, но я хочу перезапустить или убить его - думаю, это может быть причиной того, что я не могу заставить работать scrapyd-клиент после установки через pip. Я не могу найти способ убить или перезапустить …
14 авг '17 в 22:21
0
ответов
Почему Scrapyd спланировал паука 503 при попытке очистить сайт?
Я изучаю Python и выскабливание и написал свой первый паук, используя Scrapy. Он работает нормально, когда я запускаю его локально, чтобы очистить свой тестовый сайт, он работает нормально. Я развернул проект на своем удаленном сервере в Scrapyd, но…
30 июл '17 в 11:11
0
ответов
Scrapy: возникают проблемы при сканировании страницы ASPX
Я пытаюсь сканировать страницу.aspx, но она перенаправляет меня на страницу, которая не существует. Чтобы решить эту проблему, я попытался установить "dont_merge_cookies": True и "dont_redirect": True и перезаписать мои start_requests, но теперь он …
18 мар '13 в 16:28
0
ответов
Скрап-сервис и периодическая утилизация в virtualenv
Когда я впервые установил scrapyd в Ubuntu 14.04, я не использовал общий способ. Используя apt-get, мой scrapyd считался сервисом, который можно запускать и иметь (log / config / dbs...) зависимости, однако версия scrapy была очень устаревшей. Таким…
15 мар '17 в 15:08
1
ответ
Какие преимущества использования скрапида?
Документ Scrapy говорит, что: Scrapy поставляется со встроенным сервисом, называемым "Scrapyd", который позволяет вам развертывать (или загружать) ваши проекты и управлять их пауками с помощью веб-сервиса JSON. есть ли какие-то преимущества в комфор…
16 апр '13 в 10:19
1
ответ
Процессы Crawler неожиданно умирают
Я столкнулся с проблемой неожиданного прекращения работы процессов сканирования. Я использую терапию 0,14, проблема существовала и в 0,12. Журнал скрапа показывает записи типа: Процесс умер: exitstatus= Нет Журналы паука не показывают информацию о з…
12 апр '12 в 19:25
1
ответ
Развернуть Scrapy Project
Я пытаюсь развернуть проект scrapy с scrapyd. Я могу запустить свой проект нормально с помощью cd /var/www/api/scrapy/dirbot scrapy crawl dmoz Это шаг за шагом я сделал: 1 / Я бегу scrapy version -v >> Scrapy : 0.16.3 lxml : 3.0.2.0 libxml2 : …
19 янв '13 в 12:12
2
ответа
Как запустить несколько серверов scrapyd?
Я искал документацию по сервису Scrapyd, но он очень тонкий. Мне было интересно, если у кого-нибудь есть идеи, как настроить несколько серверов Scrapyd, которые указывают на одну и ту же очередь расписания?
16 ноя '12 в 15:38
0
ответов
Ускорьте время инициализации пауков
У меня есть несколько пауков Scrapy, которые мне нужно запускать одновременно каждые 5 минут. Проблема в том, что запуск занимает от 30 секунд до 1 минуты. Кажется, что все они запускают свой собственный витой двигатель, и это занимает много времени…
26 фев '18 в 07:57
1
ответ
scrapyd Exception Ожидаемое имя свойства в двойных кавычках
Когда я выполню curl http://localhost:6800/schedule.json -d project=default -d spider=spider1 Я иду к scrapyd консоли и вижу исключение: [-] Unhandled Error Traceback (most recent call last): File "/home/scrapyV1/venv/lib/python2.7/site-packages/twi…
18 май '16 в 06:43
1
ответ
pymongo.errors.ConnectionFailure: истекло время ожидания для экземпляра ubuntu ec2, на котором выполняется scrapyd
Итак... я запускаю scrapyd на своем экземпляре ubuntu ec2 после того, как прочитал этот пост: http://www.dataisbeautiful.io/deploying-scrapy-ec2/ однако, я думаю, я не могу заставить pymongo подключиться к моей базе данных MongoLabs mongo, так как л…
17 ноя '14 в 02:33
1
ответ
scrapy_splash.SplashRequest не выполняет функцию обратного вызова, когда запланировано scrapyd
Я действительно столкнулся с некоторым странным поведением (с моей точки зрения знания) обратного вызова SplashRequest, когда он выполняется scrapyd. Scrapy Sourcecode from scrapy.spiders.Spider import Spider from scrapy import Request import scrapy…
29 янв '17 в 14:31
0
ответов
КАК ПОЛУЧИТЬ ФИЛЬТР
Как я могу получить "DummyStatsCollector" в scrapyd. Я изучил по этой ссылке " http://doc.scrapy.org/en/latest/topics/stats.html ".. но нет краткого объяснения о статусе получения соскоба в scrapyd. Я хотел бы иметь возможность сделать что-то вроде …
22 июл '15 в 14:56
1
ответ
Ошибка развертывания проекта scrapyd
При попытке выполнить эту команду: scrapyd-deploy test -p project=myProject Я получаю следующую ошибку: Traceback (most recent call last): File "/usr/bin/scrapyd-deploy", line 269, in <module> main() File "/usr/bin/scrapyd-deploy", line 95, in…
21 ноя '16 в 23:35
0
ответов
Scrapyd, Celery и Django работают с супервизором - ошибка GenericHTTPChannellProtocol
Я использую проект под названием Django Dynamic Scraper для создания базового веб-скребка поверх Django. Все работает найти в разработке, но при настройке моего VPS Digital Ocean я сталкиваюсь с проблемами. Я использую Supervisor для поддержки трех …
29 авг '17 в 09:08
1
ответ
Только Scrapyd - без имени модуля django_project.settings
Эта ошибка происходит только по команде scrapyd-deploy, Packing version r240-master Deploying to project "foo_bot" in http://localhost:6802/addversion.json Server response (200): { "status": "error", "message": "Traceback (most recent call last): Fi…
17 июн '17 в 01:11
0
ответов
Scrapy обнаружил http статус <521>
Я новичок в scrpay и попытался просканировать страницу веб-сайта, но мне был возвращен код состояния http <521> Значит ли это, что сервер отказывается подключаться? (я могу открыть его через браузер) Я пытался использовать настройки cookie, но все р…
07 июн '15 в 00:59
0
ответов
Как мне добавить такой же конвейер скрапа для любого паука в Скрапиде?
У меня есть несколько проектов, работающих на scrapyd, и все используют один и тот же конвейер, поэтому как я могу добавить этот конвейер к каждому запланированному пауку по умолчанию, не добавляя ничего в запрос curl, только имея флаг в default_scr…
08 авг '17 в 22:06
4
ответа
windows scrapyd-deploy не распознается
Я должен установить скрепид, как это pip install scrapyd Я хочу использовать scrapyd-deploy когда я набираю Скрапид я получил это исключение в CMD: scrapyd не распознается как внутренняя или внешняя команда, работающая программа или командный файл.
25 мар '14 в 21:11
1
ответ
Перерыв Scrapy перестал работать
Я пытаюсь развернуть проект scrapy с использованием scrapyd, но он дает мне ошибку... sudo scrapy deploy default -p eScraper Building egg of eScraper-1371463750 'build/scripts-2.7' does not exist -- can't clean it zip_safe flag not set; analyzing ar…
17 июн '13 в 10:15