Почему облачные задачи Google такие медленные?
Я использую Google Cloud Tasks с AppEngine для обработки задач, но задачи ждут около 2-3 минут в очереди перед отправкой на мою конечную точку App Engine.
У заданий нет "задержки", и я ожидаю, что они будут отправлены немедленно.
Итак, вопрос в том, замедляются ли облачные задачи?
Как вы можете видеть на следующем снимке экрана, облачные задачи дают ETA около 3 минут:
3 ответа
Официальное слово от Google заключается в том, что это лучшее, что вы можете ожидать от их очередей задач.
По моему опыту, то, как вы настраиваете задачи, похоже, влияет на скорость их выполнения.
Кажется, что:
- Если вы не измените поведение ваших очередей заданий по умолчанию (например, максимальное число одновременных и т. Д.) И если вы не укажете время выполнения задания (например, eta), то ваши задания будут выполняться очень скоро после отправки.
- Если вы возитесь с любой из этих двух вещей, то Google займет больше времени для выполнения ваших задач. Я предполагаю, что это дополнительные накладные расходы на контроль частоты выполнения задач и их выполнения.
Просто добавлю, что с февраля 2023 года я могу ставить задачи в очередь, а затем ОЧЕНЬ быстро их использовать, используя библиотеки Python 3.7.
Мне требуется около 13,5 секунд, чтобы поставить в очередь 1000 задач. Обработка этих 1000 задач с использованием развернутого в Cloud Run приложения python/flask занимает около 1 минуты. (Другая обработка не выполняется, просто получите и ответьте 200).
Итак, супер быстро!
Кстати, в моих тестах pubsub был намного медленнее... около 40 мс на сообщение, чтобы поставить сообщение в очередь.
На вашем снимке экрана я вижу, что у вас есть задача с ETA 2 мин 49 сек, что является временем, пока ваша задача не будет запущена. У вас большой размер корзины и количество одновременных операций, поэтому я думаю, что ваша проблема больше связана с параметрами, которые вы используете при постановке задач в очередь, особенно сscheduled_timeатрибут. Проверьте свой код, чтобы увидеть, не добавляете ли вы задержку к своим задачам, и обязательно уменьшите ее.