Twisted: перехват DNSLookupError при разрыве интернет-соединения

Question

У меня простой twisted скрипт, который отправляет запросы GET на некоторую конечную точку API. Он работает нормально, за исключением того, что, когда мое интернет-соединение падает, он загрязняет журнал кучей Unhandled error in Deferred: Сообщения.

Минимальный пример выглядит так:

import sys
from twisted.web.client import Agent
from twisted.internet import reactor, task
from twisted.internet.defer import Deferred
from twisted.internet.protocol import Protocol
from twisted.logger import Logger, textFileLogObserver

# the DNSLookupError gets thrown before an instance of this class
# is created
class DataReceiver(Protocol):    
    def __init__(self, finished):
        self.finished = finished

    def dataReceived(self, data):
        log.info('Got data!')

    def connectionLost(self, reason):
        log.info(reason.getErrorMessage())
        self.finished.callback(None)

def receive_data(response):
    try:
        response.deliverBody(DataReceiver(Deferred()))
    except Exception as e:
        log.failure(e)

def schedule_request(agent):
    try:
        req = agent.request(b'GET', b'https://www.example.org')
        req.addCallbacks(receive_data, errback=log.failure)
    except Exception as e:
        log.failure(e)

if __name__ == '__main__':
    log = Logger(observer=textFileLogObserver(sys.stdout))
    try:
        # schedule requests every two seconds
        agent = Agent(reactor)
        loop = task.LoopingCall(lambda: schedule_request(agent))
        loop.start(2)

        # run event loop
        reactor.run()
    except Exception as e:
        log.failure(e)

Когда интернет-соединение установлено, журнал выглядит так, как ожидалось:

2018-02-06T16:50:32+0100 [__main__#info] Got data!
2018-02-06T16:50:32+0100 [__main__#info] Response body fully received

Но когда связь падает, я вижу:

Unhandled error in Deferred:

Если я использую журнал из twisted.python, полный возврат:

2018-02-06 16:42:54+0100 [-] Unhandled Error
    Traceback (most recent call last):
      File "/usr/local/lib/python3.5/dist-packages/twisted/internet/_resolver.py", line 137, in deliverResults
        resolutionReceiver.resolutionComplete()
      File "/usr/local/lib/python3.5/dist-packages/twisted/internet/endpoints.py", line 900, in resolutionComplete
        d.callback(addresses)
      File "/usr/local/lib/python3.5/dist-packages/twisted/internet/defer.py", line 459, in callback
        self._startRunCallbacks(result)
      File "/usr/local/lib/python3.5/dist-packages/twisted/internet/defer.py", line 567, in _startRunCallbacks
        self._runCallbacks()
    --- <exception caught here> ---
      File "/usr/local/lib/python3.5/dist-packages/twisted/internet/defer.py", line 653, in _runCallbacks
        current.result = callback(current.result, *args, **kw)
      File "/usr/local/lib/python3.5/dist-packages/twisted/internet/endpoints.py", line 954, in startConnectionAttempts
        "no results for hostname lookup: {}".format(self._hostStr)
    twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: www.example.org.

Как мне поймать и обработать это исключение в twisted?

Answer 1

Ваш код приложения регистрирует этот сбой:

req.addCallbacks(receive_data, errback=log.failure)

Когда reqDeferred происходит сбой с этой ошибкой DNS, вызывается ошибка. Если вы не хотите, чтобы этот случай регистрировался, измените свой errback. Например:

def do_not_log_dns_errors(failure):
    if not failure.check(DNSLookupError):
        log.failure("request failed", failure)

(обратите внимание также, что первый аргумент log.failure это не Failure).