Как использовать библиотеку событий для асинхронных рабочих-оружейников

Один из моих проектов django развернут с использованием ansible (gunicorn & nginx). Ниже приведена конфигурация Gunicorn:

bind = '127.0.0.1:8001'
backlog = 2048

workers = 8
worker_class = 'sync'
worker_connections = 1000
timeout = 300
keepalive = 2

spew = False

daemon = False
pidfile = None
umask = 0
user = None
group = None
tmp_upload_dir = None

loglevel = 'info'
errorlog = '/var/log/error.log'
accesslog = '/var/log/access.log'

proc_name = None

def pre_fork(server, worker):
    pass

def pre_exec(server):
    server.log.info("Forked child, re-executing.")

def when_ready(server):
    server.log.info("Server is ready. Spawning workers")

def worker_int(worker):
    worker.log.info("worker received INT or QUIT signal")


    ## get traceback info
    import threading, sys, traceback
    id2name = dict([(th.ident, th.name) for th in threading.enumerate()])
    code = []
    for threadId, stack in sys._current_frames().items():
        code.append("\n# Thread: %s(%d)" % (id2name.get(threadId,""),
            threadId))
        for filename, lineno, name, line in traceback.extract_stack(stack):
            code.append('File: "%s", line %d, in %s' % (filename,
                lineno, name))
            if line:
                code.append("  %s" % (line.strip()))
    worker.log.debug("\n".join(code))

def worker_abort(worker):
    worker.log.info("worker received SIGABRT signal")

Рабочие процессы работают синхронно. Я хочу, чтобы они запускались одновременно, так как у меня много запросов в минуту на этом сервере. На исследованиях я обнаружил, что могу использовать библиотеки Python, такие как eventlet который использует greenthreads для параллелизма. Для этого мне нужно изменить worker_class на eventlet как:

worker_class = eventlet

Но сейчас я не в курсе. Я не понимаю, как реализовать асинхронные зеленые потоки для этого проекта. Может быть, это глупый вопрос, но мне действительно нужна помощь.

Заранее спасибо.

2 ответа

Решение

Вы уже сделали все необходимое. worker_class = eventlet или же gunicorn -k eventlet достаточно для одновременного запуска обработчиков HTTP-запросов. И тогда вы можете обслуживать много одновременных запросов с помощью сна или ввода-вывода в их обработчиках.

Во -первых, вам нужно установить пакет

pip install gunicorn[eventlet]

затем измените worker_class на eventlet

Другие вопросы по тегам