Тестирование сельдерея и RQ
Из-за проблем с надежностью и расписанием в сельдерее мы решили оценить альтернативы. Я изо всех сил пытался установить эталон между двумя решениями очереди сообщений в отношении базовой производительности.
Мой текущий подход состоит в том, чтобы поместить 1000 задач (получить nvie.com и подсчитать слова на сайте) в две разные очереди и измерить, насколько быстро 4 сельдерея (20 секунд) против 4 рабочих (70 секунд). Мой код https://github.com/swartchris8/celery-vs-rq-benchmark Я запускаю celery через командную строку и rq через supervisor на Mac, инструкции по запуску Ubuntu для rq ясно из файла vagrant.
Сельдерей работает намного лучше, и я не уверен, что моя тестовая установка измерения скорости очистки очередей ошибочна для измерения пропускной способности задачи. Я также использую рабочих RQ по умолчанию, которые я подозреваю, может быть намного медленнее.
Является ли мой подход правильным способом сравнения системы очередей двух сообщений с точки зрения пропускной способности? Какие подходы вы использовали? Сельдерей намного быстрее, чем RQ?