Реализация очереди заданий для python

Вы знаете / используете какую-либо распределенную очередь заданий для python? Можете ли вы поделиться ссылками или инструментами

9 ответов

Решение

В дополнение к многопроцессорности есть также проект Celery, если вы используете Django.

Pyres - это клон, созданный в Python. Resque используется Github в качестве очереди сообщений. Оба используют Redis в качестве сервера очереди и предоставляют веб-приложение для мониторинга.

http://binarydud.github.com/pyres/intro.html

Сильвен Хеллегуарх также может найти "козел", который вы можете найти здесь:

Он описывает себя так:

  • bucker - это система очередей, которая поддерживает несколько хранилищ для очереди (пока что memcached, Amazon SQS) и управляется XML-сообщениями, отправляемыми по TCP-соединениям между клиентом и сервером очередей.

Посмотри на бобовый стебель

redqueue? Он реализован в фреймворке python+tornado, говорит по протоколу memcached и при желании является постоянным в файлах журнала. В настоящее время он также может вести себя как beanstalkd, способ резервирования / удаления в протоколе memcache.

REDQUEUE

Если вы считаете, что Celery слишком тяжел для ваших нужд, вы можете взглянуть на простую распределенную очередь задач:

Это год спустя или что-то в этом роде, но это то, что я взломал, чтобы создать очередь для процессов, выполняющих их только по X раз за разом. http://github.com/goosemo/job_queue

Возможно, вы захотите взглянуть на очередь многопроцессорной обработки. Включенный в Python 2.6, получите его на PyPI для более ранних версий Python.

Стандартная документация библиотеки: http://docs.python.org/library/multiprocessing.html О PyPI: http://pypi.python.org/pypi/multiprocessing

Также есть Unix 'at'

Для получения дополнительной информации: человек в

Другие вопросы по тегам