Каков наилучший способ замаскировать запрос urllib2 как запрос от человека (кроме user-agent)?

Question

Какой лучший способ замаскировать программу на Python с помощью urllib2? Я знаю, как настроить user-agent, что является хорошим началом. Но как насчет других элементов, таких как ссылающийся URL? Есть ли способ установить это? Любые другие предложения?

Вот что я использую для добавления пользовательского агента:

opener = urllib2.build_opener()
opener.addheaders = [('User-agent','Mozilla/5.0 (X11; Linux x86_64; rv:2.0.1) Gecko/20110506 Firefox/4.0.1')]
f = opener.open("http://www.domain.com")

Answer 1

Есть много особенностей, которые вы не упомянули. Чтобы найти ответы, просто перейдите на www.domain.com в вашем любимом браузере (с хорошими инструментами разработки) и изучите сетевой трафик.

Chrome имеет встроенные инструменты. Firebug для Firefox.

Посмотрите на все отправленные заголовки и скопируйте их в соответствии с вашими потребностями.

Answer 2

Вы можете указать реальный браузер на инструмент, подобный этому или этому, увидеть точное содержимое всех полей, которые отправляет ваш реальный браузер, и имитировать это в своем скрипте Python.