Реализация очереди заданий для python
Вы знаете / используете какую-либо распределенную очередь заданий для python? Можете ли вы поделиться ссылками или инструментами
9 ответов
В дополнение к многопроцессорности есть также проект Celery, если вы используете Django.
Pyres - это клон, созданный в Python. Resque используется Github в качестве очереди сообщений. Оба используют Redis в качестве сервера очереди и предоставляют веб-приложение для мониторинга.
Сильвен Хеллегуарх также может найти "козел", который вы можете найти здесь:
Он описывает себя так:
- bucker - это система очередей, которая поддерживает несколько хранилищ для очереди (пока что memcached, Amazon SQS) и управляется XML-сообщениями, отправляемыми по TCP-соединениям между клиентом и сервером очередей.
redqueue? Он реализован в фреймворке python+tornado, говорит по протоколу memcached и при желании является постоянным в файлах журнала. В настоящее время он также может вести себя как beanstalkd, способ резервирования / удаления в протоколе memcache.
Если вы считаете, что Celery слишком тяжел для ваших нужд, вы можете взглянуть на простую распределенную очередь задач:
Это год спустя или что-то в этом роде, но это то, что я взломал, чтобы создать очередь для процессов, выполняющих их только по X раз за разом. http://github.com/goosemo/job_queue
Возможно, вы захотите взглянуть на очередь многопроцессорной обработки. Включенный в Python 2.6, получите его на PyPI для более ранних версий Python.
Стандартная документация библиотеки: http://docs.python.org/library/multiprocessing.html О PyPI: http://pypi.python.org/pypi/multiprocessing
Также есть Unix 'at'
Для получения дополнительной информации: человек в