Python Interpreter блокирует многопоточные DNS-запросы?

Я просто немного поиграл с питоном и потоками и понял, что даже в многопоточном скрипте DNS-запросы блокируются. Рассмотрим следующий скрипт:

из потокового импорта

class Connection(Thread):
    def __init__(self, name, url):
        Thread.__init__(self)
        self._url = url
        self._name = name

    def run(self):
        print "Connecting...", self._name
        try:
            s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
            s.setblocking(0)
            s.connect((self._url, 80))
        except socket.gaierror:
            pass #not interested in it
        print "finished", self._name


if __name__ == '__main__':
    conns = []
    # all invalid addresses to see how they fail / check times
    conns.append(Connection("conn1", "www.2eg11erdhrtj.com"))
    conns.append(Connection("conn2", "www.e2ger2dh2rtj.com"))
    conns.append(Connection("conn3", "www.eg2de3rh1rtj.com"))
    conns.append(Connection("conn4", "www.ege2rh4rd1tj.com"))
    conns.append(Connection("conn5", "www.ege52drhrtj1.com"))

    for conn in conns:
        conn.start()

Я не знаю точно, как долго это время ожидания, но при выполнении этого происходит следующее:

  1. Все темы начинаются, и я получаю свои распечатки
  2. Каждые xx секунды один поток отображает завершенный, а не все сразу
  3. Потоки заканчиваются последовательно, а не сразу (время ожидания = одинаково для всех!)

Так что мое единственное предположение, что это связано с GIL? Очевидно, что потоки не выполняют свою задачу одновременно, одновременно выполняется только одно соединение.

Кто-нибудь знает способ обойти это?

(asyncore не помогает, и я бы предпочел пока не использовать twisted) Разве нельзя сделать эту простую маленькую вещь с помощью python?

Привет, Том

редактировать:

Я нахожусь на MacOSX, я просто позволил своему другу запустить это на Linux, и он действительно получил результаты, которые я хотел получить. Его socket.connects() немедленно возвращается, даже в не поточной среде. И даже когда он устанавливает сокеты на блокировку и тайм-аут на 10 секунд, все его потоки заканчиваются одновременно.

Кто-нибудь может объяснить это?

Источник

3 ответа

Решение

В некоторых системах getaddrinfo не является потокобезопасным. Python считает, что такими системами являются FreeBSD, OpenBSD, NetBSD, OSX и VMS. В этих системах Python поддерживает блокировку специально для netdb (т. Е. Getaddrinfo и друзей).

Поэтому, если вы не можете переключать операционные системы, вам придется использовать другую (поточно-ориентированную) библиотеку распознавателя, такую ​​как Twisted.

Источник

Если это подходит, вы можете использовать multiprocessing модуль для включения параллелизма на основе процессов

import multiprocessing, socket

NUM_PROCESSES = 5

def get_url(url):
    try:
        s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        s.setblocking(0)
        s.connect((url, 80))
    except socket.gaierror:
        pass #not interested in it
    return 'finished ' + url


def main(url_list):
    pool = multiprocessing.Pool( NUM_PROCESSES )
    for output in pool.imap_unordered(get_url, url_list):
        print output

if __name__=="__main__":
    main("""
             www.2eg11erdhrtj.com 
             www.e2ger2dh2rtj.com
             www.eg2de3rh1rtj.com
             www.ege2rh4rd1tj.com
             www.ege52drhrtj1.com
          """.split())
Источник

Отправка DNS-запросов асинхронно с использованием витых имен:

import sys
from twisted.internet import reactor
from twisted.internet import defer
from twisted.names    import client
from twisted.python   import log

def process_names(names):
    log.startLogging(sys.stderr, setStdout=False)

    def print_results(results):
        for name, (success, result) in zip(names, results):
            if success:
                print "%s -> %s" % (name, result)
            else:
                print >>sys.stderr, "error: %s failed. Reason: %s" % (
                    name, result)

    d = defer.DeferredList(map(client.getHostByName, names), consumeErrors=True)
    d.addCallback(print_results)
    d.addErrback(defer.logError)
    d.addBoth(lambda _: reactor.stop())

reactor.callWhenRunning(process_names, """
    google.com
    www.2eg11erdhrtj.com 
    www.e2ger2dh2rtj.com
    www.eg2de3rh1rtj.com
    www.ege2rh4rd1tj.com
    www.ege52drhrtj1.com
    """.split())
reactor.run()
Источник
Другие вопросы по тегам