Как использовать прокси с scrapy в подходе, основанном на сценариях?

Question

Кажется, я не могу понять, как бы я использовал прокси-браузер Browsermob с scrapy при использовании подхода, основанного на сценариях. Кто-нибудь сталкивался с этим вариантом использования раньше? Любая помощь была бы отличной, я использую подход в качестве описателя здесь

Answer 1

В вашем скрипте (я предполагаю, что вы используете Bash) определите свой прокси, например:

http_proxy = 'http://user:[e-mail]:3128'

прямо перед тем, как позвонить в сценарий скрапа. В scrapy вы должны включить Proxy Middleware.

Смотрите здесь и здесь для большего.