Невозможно использовать прокси Crawler в Scrapy на Scrapinghub

У меня есть проект scrapy, развернутый в облаке Scrapinghub.

Этот проект работает отлично, если я не использую прокси.

Но я должен использовать прокси.

К вашему сведению, Crawlera является основным проектом Scrapinghub, я попробовал 2 способа использовать прокси Crawlera на scrapinhgub

Способ 1: включен Crawlera от Addon Setup и настроил, дав ему мой ключ API.

А затем развернул код и запустил его. Я получил эту ошибку.

TypeError: to_bytes must receive a unicode, str or bytes object, got NoneType ( здесь полная ошибка)

Способ 2: я добавил это в settings.py

DOWNLOADER_MIDDLEWARES = {'scrapy_crawlera.CrawleraMiddleware': 300}
CRAWLERA_ENABLED = True
CRAWLERA_APIKEY = 'my api key here'

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 32
AUTOTHROTTLE_ENABLED = False
DOWNLOAD_TIMEOUT = 300

Но потом я получил ту же ошибку, о которой упоминал.

PS:

Я подтверждаю, что прокси работают, я использую их в своих проектах PHP.

0 ответов

Другие вопросы по тегам