Описание тега celery

Celery - это среда распределенной очереди задач для Python, используемая для асинхронного и параллельного выполнения.
1 ответ

Django Celery Workflow Chain Пауза / Резюме

Есть ли способ приостановить / возобновить работающий рабочий процесс, созданный с помощью цепочек из сельдерея 3.0? По сути, в нашей системе есть два разных типа задач: интерактивные и неинтерактивные. Неинтерактивные параметры, для которых у нас е…
15 фев '13 в 01:49
1 ответ

Почему в заданиях по сельдерею для сельдерея нужны названия?

В документации декоратору @celery.task не передаются аргументы, но в примере с GitHub он называется "tasks.add". Почему это? Когда я удаляю имя, пример больше не работает, жалуясь на KeyError: '__main__.add' [1] http://flask.pocoo.org/docs/0.10/patt…
09 окт '14 в 07:31
1 ответ

Celery: подключайтесь к удаленному брокеру, чтобы делиться задачами

У меня много трудоемких задач, которые нужно разделить на несколько машин. В настоящее время у меня есть одна мастер-машина, использующая работников Celery для выполнения этой задачи Я использую RabbitMQ в качестве посредника и Redis в качестве бэкэ…
16 июл '15 в 18:06
1 ответ

Как заблокировать переменную в задаче сельдерея?

У меня есть задача сельдерея, которая искажает некоторые переменные. Это прекрасно работает, если я установил одного рабочего из сельдерея, но когда я использую параллелизм, все это испортилось. Как я могу заблокировать критическую секцию, где перем…
16 авг '17 в 21:58
0 ответов

Поиск источника неопознанного имени узла для работника сельдерея (замечено в DuplicateNodenameWarning при попытке цветка)

Для проекта Django, выполняющего задачи с сельдереем, я запускаю цветок сельдерея с помощью команды: python manage.py celery flower --address=0.0.0.0 --port=5555 Сервер запускается правильно, но я получаю предупреждение: [W 161223 17:18:02 control:3…
23 дек '16 в 13:51
0 ответов

Как получить дату запуска первой задачи из цепочки повторных задач?

Я пытаюсь написать собственный метод повтора, который будет использовать определенные задержки для повторного запуска задачи. Для этого мне нужно знать, в какое время был запущен первый экземпляр этой цепочки повторяющихся задач, а затем я могу испо…
17 окт '17 в 13:09
1 ответ

Установка Джанго в виртуален с парамико

Я использую paramiko и создаю некоторые virtualenvs над ssh, например: from paramiko import SSHClient, SSHConfig def ssh_connect(self): # ssh config file config = SSHConfig() config.parse(open(settings.SSH_CONFIG)) o = config.lookup('my_key') # ssh …
27 авг '12 в 20:48
2 ответа

ImportError: нет модуля с именем dateutil

Я пытаюсь следовать примеру в документе "Первые шаги с сельдереем". Я установил сельдерей с помощью пипса. Я создал файл tasks.py в ~/python/celery, и он содержит следующее: from celery import Celery celery = Celery('tasks', broker='amqp://guest@loc…
21 май '13 в 16:56
1 ответ

Сельдерей Создание групповых задач из цепочки задач

Я пытаюсь связать следующие задачи с сельдереем (v4.0), task = group([tasks1.s(), task2.s()) | generate_job_requests.s() | execute_job.map() | aggregate_result.s() result = task.get() Выше часть работает нормально до generate_job_requests как аккорд…
13 ноя '16 в 07:14
1 ответ

Можно ли использовать модели django-сельдерея с RabbitMQ?

Я заинтересован в использовании моделей django-сельдерея для создания и мониторинга повторяющихся задач. В частности, я смотрю на создание повторяющихся cron-подобных действий и запуск / остановку их от администратора. Насколько я понимаю, это можно…
11 мар '13 в 21:42
1 ответ

Автоматический запуск нескольких демонов сельдерея с помощью Jenkins

У меня есть сервер Ubuntu, на котором запущено 5 разных сайтов django. Они используются для тестирования, поэтому каждый разработчик имеет свой собственный сайт и базу данных, а также один сайт для интегрированного кода, который обновляется только т…
1 ответ

Ошибка 502 Bad Gateway Nginx и Сельдерей

Я пытаюсь запустить docker-compose с Nginx, Celery, RabbitMQ и Django на сервере Gunicorn. Приложение работает нормально без Nginx, но в производственном процессе мне нужен Nginx для обслуживания статических файлов и получения Error 502 Bad Gateway …
14 мар '17 в 15:49
1 ответ

Есть ли функциональность Celery, аналогичная функциональности RQ?

RQ обеспечивает .work(burst=True) метод для его работников, которые хорошо подходят для интеграционных тестов, когда у вас есть код, который ставит в очередь задачу, а затем хочет, чтобы эта задача выполнялась синхронно. Я не могу найти какую-либо …
14 май '18 в 18:15
0 ответов

Цветок для отображения группы сельдерея

Мой руководитель спрашивает, есть ли способ показать группы сельдерея в списке задач Flower. Как показано, только группа отображается, и вы можете развернуть элемент группы, чтобы увидеть задачи в группе. Как в этом git-вопросе https://github.com/mh…
13 июн '18 в 20:39
0 ответов

Сельдерей цепей групп кормления групп

Мой вопрос похож на Как связать задачу Celery, которая возвращает список в группу?, который в основном спрашивает, как мы делаем: process_list = (get_list.s(10) | group(process_item.s(i) for i in ???)) и ответом было подделать группу с заданием. Теп…
14 авг '15 в 08:31
0 ответов

Получить параметры, которые были заданы в задаче Celery

Можно ли получить параметры, которые были отправлены в качестве задачи, учитывая task_id? Например, учитывая следующее: @celery.task def mytask(param): return 1 + 2 mytask.delay('hello world') Учитывая task_id этой задачи, могу ли я получить парамет…
03 сен '17 в 19:29
1 ответ

(imageio или celery) Ошибка закрытия: у объекта 'Image' нет атрибута 'fp'

Я использую imageio для записи изображений PNG в файл. import numpy as np import matplotlib.cm as cm import imageio # for saving the image import matplotlib as mpl hm_colors = ['blue', 'white','red'] cmap = mpl.colors.LinearSegmentedColormap.from_li…
19 янв '18 в 09:51
0 ответов

Вызов задачи с помощью сельдерея, который находится внутри папки, выдает ошибку.

У меня есть следующий график ритма сельдерея CELERY_BEAT_SCHEDULE = { 'task-number-one': { 'task': 'frontend.tasks2.tasks.test_task', #this doesn't work throws following error 'schedule': 1.0 }, } и следующая ошибка возникает, когда я начинаю бить с…
20 авг '18 в 19:37
2 ответа

Установка CELERY_ALWAYS_EAGER в True выдает ошибки

У меня есть некоторые асинхронные вызовы в моем коде. Как это: send_message_to_install.delay(install, alert.message, badge, code, campaign=alert.campaign, **kwargs) Я не заинтересован в получении каких-либо результатов, просто важно, чтобы функция в…
18 июл '13 в 05:32
0 ответов

Сельдерей - Индивидуальный набор результатов каждой группы в цепочке

У меня есть периодическое задание, которое дает мне вновь добавленные пользователи говорят каждые 100 секунд. Я хочу выполнить две разные задачи в списке пользователей, полностью независимых друг от друга. Я настроил две очереди, используя celery_ro…