Невозможно использовать прокси Crawler в Scrapy на Scrapinghub
У меня есть проект scrapy, развернутый в облаке Scrapinghub.
Этот проект работает отлично, если я не использую прокси.
Но я должен использовать прокси.
К вашему сведению, Crawlera является основным проектом Scrapinghub, я попробовал 2 способа использовать прокси Crawlera на scrapinhgub
Способ 1: включен Crawlera от Addon Setup
и настроил, дав ему мой ключ API.
А затем развернул код и запустил его. Я получил эту ошибку.
TypeError: to_bytes must receive a unicode, str or bytes object, got NoneType
( здесь полная ошибка)
Способ 2: я добавил это в settings.py
DOWNLOADER_MIDDLEWARES = {'scrapy_crawlera.CrawleraMiddleware': 300}
CRAWLERA_ENABLED = True
CRAWLERA_APIKEY = 'my api key here'
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 32
AUTOTHROTTLE_ENABLED = False
DOWNLOAD_TIMEOUT = 300
Но потом я получил ту же ошибку, о которой упоминал.
PS:
Я подтверждаю, что прокси работают, я использую их в своих проектах PHP.