Заставить python mechanize/urllib2 использовать только запросы A?
Вот связанный вопрос, но я не мог понять, как применить ответ к mechanize/urllib2: как заставить библиотеку Python httplib использовать только запросы A
В основном, учитывая этот простой код:
#!/usr/bin/python
import urllib2
print urllib2.urlopen('http://python.org/').read(100)
Это приводит к тому, что wireshark говорит следующее:
0.000000 10.102.0.79 -> 8.8.8.8 DNS Standard query A python.org
0.000023 10.102.0.79 -> 8.8.8.8 DNS Standard query AAAA python.org
0.005369 8.8.8.8 -> 10.102.0.79 DNS Standard query response A 82.94.164.162
5.004494 10.102.0.79 -> 8.8.8.8 DNS Standard query A python.org
5.010540 8.8.8.8 -> 10.102.0.79 DNS Standard query response A 82.94.164.162
5.010599 10.102.0.79 -> 8.8.8.8 DNS Standard query AAAA python.org
5.015832 8.8.8.8 -> 10.102.0.79 DNS Standard query response AAAA 2001:888:2000:d::a2
Это 5 секундная задержка!
У меня нет включенной IPv6 в моей системе (gentoo скомпилирован с USE=-ipv6) поэтому я не думаю, что у python есть основания даже пытаться искать IPv6.
Приведенный выше вопрос предложил явно установить тип сокета в AF_INET это звучит замечательно. Я понятия не имею, как заставить urllib или механизировать использовать любые сокеты, которые я создаю.
РЕДАКТИРОВАТЬ: я знаю, что запросы AAAA являются проблемой, потому что другие приложения также имели задержку, и как только я перекомпилировал с отключенным ipv6, проблема исчезла... за исключением Python, который все еще выполняет запросы AAAA.
4 ответа
Страдая от той же проблемы, вот уродливый хакер (используйте на свой страх и риск..) на основе информации, предоставленной JJ.
Это в основном заставляет family параметр socket.getaddrinfo(..) в socket.AF_INET Вместо того, чтобы использовать socket.AF_UNSPEC (ноль, который, кажется, используется в socket.create_connection), не только для звонков из urllib2 но должен сделать это для всех звонков socket.getaddrinfo(..):
#--------------------
# do this once at program startup
#--------------------
import socket
origGetAddrInfo = socket.getaddrinfo
def getAddrInfoWrapper(host, port, family=0, socktype=0, proto=0, flags=0):
return origGetAddrInfo(host, port, socket.AF_INET, socktype, proto, flags)
# replace the original socket.getaddrinfo by our version
socket.getaddrinfo = getAddrInfoWrapper
#--------------------
import urllib2
print urllib2.urlopen("http://python.org/").read(100)
Это работает для меня, по крайней мере, в этом простом случае.
Нет ответа, но несколько точек данных. Разрешение DNS, похоже, исходит от httplib.py в HTTPConnection.connect() (строка 670 на моем python 2.5.4 stdlib)
Поток кода примерно:
for res in socket.getaddrinfo(self.host, self.port, 0, socket.SOCK_STREAM):
af, socktype, proto, canonname, sa = res
self.sock = socket.socket(af, socktype, proto)
try:
self.sock.connect(sa)
except socket.error, msg:
continue
break
Несколько комментариев о том, что происходит:
третий аргумент
socket.getaddrinfo()ограничивает семейства сокетов - т.е. IPv4 против IPv6. Проходящий ноль возвращает все семьи. Ноль жестко запрограммирован в stdlib.передача имени хоста в
getaddrinfo()вызовет разрешение имен - в моем окне OS X с включенным IPv6 записи A и AAAA выходят, оба ответа возвращаются и оба возвращаются.остальная часть цикла соединения пробует каждый возвращенный адрес, пока один не преуспеет
Например:
>>> socket.getaddrinfo("python.org", 80, 0, socket.SOCK_STREAM)
[
(30, 1, 6, '', ('2001:888:2000:d::a2', 80, 0, 0)),
( 2, 1, 6, '', ('82.94.164.162', 80))
]
>>> help(socket.getaddrinfo)
getaddrinfo(...)
getaddrinfo(host, port [, family, socktype, proto, flags])
-> list of (family, socktype, proto, canonname, sockaddr)
Некоторые догадки:
Так как семейство розеток в
getaddrinfo()жестко запрограммирован на ноль, вы не сможете переопределить записи A и AAAA через некоторый поддерживаемый интерфейс API в urllib. Если механизация не выполняет собственное разрешение имен по какой-либо другой причине, механизация тоже не может. Из конструкции цикла соединения это By Design.модуль сокетов python - это тонкая оболочка для API-интерфейсов POSIX-сокетов; Я ожидаю, что они решают каждую семью, доступную и настроенную в системе. Перепроверьте конфигурацию Gentoo IPv6.
Сервер DNS 8.8.8.8 (Google DNS) немедленно отвечает на вопрос об AAAA на python.org. Поэтому тот факт, что мы не видим этот ответ в трассировке, которую вы публикуете, вероятно, указывает на то, что этот пакет не вернулся (что происходит с UDP). Если эта потеря случайна, это нормально. Если это систематически, это означает, что есть проблема в настройке вашей сети, возможно, сломан брандмауэр, который препятствует возвращению первого ответа AAAA.
5-секундная задержка исходит от вашего преобразователя заглушки. В этом случае, если он случайный, это, вероятно, неудача, но не связанная с IPv6, ответ на запись A также мог быть неудачным.
Отключение IPv6 кажется очень странным шагом, всего за два года до того, как будет распространен последний адрес IPv4!
% dig @8.8.8.8 AAAA python.org
; <<>> DiG 9.5.1-P3 <<>> @8.8.8.8 AAAA python.org
; (1 server found)
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 50323
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;python.org. IN AAAA
;; ANSWER SECTION:
python.org. 69917 IN AAAA 2001:888:2000:d::a2
;; Query time: 36 msec
;; SERVER: 8.8.8.8#53(8.8.8.8)
;; WHEN: Sat Jan 9 21:51:14 2010
;; MSG SIZE rcvd: 67
Наиболее вероятной причиной этого является сломанный выходной брандмауэр. Например, брандмауэры Juniper могут вызывать это, хотя у них есть обходной путь.
Если вы не можете заставить своих сетевых администраторов починить брандмауэр, попробуйте обходной путь на хосте. Добавьте эту строку в свой /etc/resolv.conf:
options single-request-reopen
Справочная страница объясняет это хорошо:
Решатель использует один и тот же сокет для запросов A и AAAA. Некоторое оборудование по ошибке отправляет только один ответ. Когда это произойдет, клиентская система будет сидеть и ждать второго ответа. Включение этой опции изменяет это поведение так, что, если два запроса с одного и того же порта обрабатываются неправильно, он закрывает сокет и открывает новый перед отправкой второго запроса.