scrapy + tor всегда возвращает 403, но я могу свернуться и просмотреть

Question

Я пытаюсь настроить scrapy + tor

Я использую скрап 0.24.6

1. Я впервые попробовал использовать polipo иметь возможность доступа tor в качестве http-прокси ( https://pkmishra.github.io/blog/2013/04/16/scrapy-run-using-tor-and-multiple-agents-part-2-ubuntu/) я могу настроить мой веб-браузер использует Polipo, и я могу просматривать с помощью TOR, и я могу свернуться. Я старался HttpProxyMiddleware и используя env var или пишу свое собственное промежуточное ПО, тот же результат: scrapy всегда возвращает 403

2. Тогда я попытался использовать tor непосредственно, я снова могу настроить свой веб-браузер для использования прокси socks, и я могу свернуться с torsocks, но scrapy всегда возвращает 403

У кого-нибудь есть представление о том, что может быть не так?

Похоже, ошибка исходит от scrapy потому что у меня точно такие же заголовки / user-agent с и без tor, но через tor я всегда получаю 403