Python запрашивает HTML с Tor
Требование заключается в анонимном удалении или изменении IP после определенного количества звонков. Я использую https://github.com/kennethreitz/requests-html модуль для разбора HTML, но я получаю следующую ошибку,
socks.SOCKS5Error: 0x01: General SOCKS server failure
Код
import socks
import socket
import requests_html
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, addr='127.0.0.1', port=int('9150'))
socket.socket = socks.socksocket
session = requests_html.HTMLSession()
r = session.get('http://icanhazip.com')
r.html.render(sleep=5)
print(r.html.text)
Но он отлично работает с модулем запросов,
import socks
import socket
import requests
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, addr='127.0.0.1', port=int('9150'))
socket.socket = socks.socksocket
print(requests.get("http://icanhazip.com").text)
Любая помощь, чтобы решить проблему с модулем запросов-HTML будет высоко ценится.
1 ответ
Пытаться:
session = requests_html.HTMLSession(browser_args=["--no-sandbox","--proxy-server=127.0.0.1:9150"])
Зависит от того, как ваш прокси настроен для использования tor, но это сработало для меня!