Как предоставить Scrapy доступ к Tor после развертывания на Scapinghub

Question

Я настроил паука для доступа к Tor с настройкой Privoxy, но это работает только тогда, когда я использую в localhost, так как настройка, которую я настраиваю, указывает на 127.0.0.1: порт. Но когда я развертываюсь на Scapinghub, серверная сторона не настраивает tor и privoxy, как я. Это какое-то решение, которое я могу использовать, чтобы позволить пауку пройти через мою машину через мою сеть и порт?

Как я знаю, если в той же сети, мы можем использовать внутренний IP. Могу ли я просто заменить общедоступный IP-адрес на 127.0.0.1, но мне интересно, как сеть перенаправить на какую машину.

Ниже приведена конфигурация для доступа к tor:

middlewares.py

class ProxyMiddleware(object):
    @classmethod
    def process_request(self, request, spider):
        request.meta['proxy'] = "http://127.0.0.1:8118"

setting.py

DOWNLOADER_MIDDLEWARES = {
    'tutorial.middlewares.ProxyMiddleware': 1
}

Answer 1

Вы можете развернуть собственный образ докера с установленным на нем tor. А затем укажите на 127.0.0.1. https://shub.readthedocs.io/en/stable/deploy-custom-image.html