Ответ Dryscrape всегда возвращается с "Продукт недоступен" при использовании прокси

Question

Я пытался отказаться от сайта, основанного на javascript, используя dryscrape, и получал нужный контент, когда не использовал прокси. Но он возвращает "Продукт недоступен" при использовании прокси. Вот фрагмент кода.

session = dryscrape.Session()
session.set_proxy('host=<ipaddress>', port=80, user='<username>', password='<password>')
session.visit(url)

Пожалуйста, дайте мне знать, как мы можем решить это.

Answer 1

Нашел проблему. На самом деле проблема была не с прокси. Все было хорошо, проблема была с заголовками. Проблема может быть решена путем установки заголовков запроса (User-Agent, Accept-Language и т. Д.).

set_header(key, value)

Этот метод доступен в объекте сеанса Dryscrape.