Кэширование Keda ScaledJob / Не запуск новых заданий
Keda была для нас твердой, как скала, однако у нас возникли некоторые очень странные проблемы, связанные с масштабированием заданий после первоначального масштабирования.
Мы развертываем нашиScaledJobs
использование нескольких версий, прослушивающих уникальную очередь Redis для каждой уникальной версии. Каждое задание настраивается в одном и том же пространстве имен с уникальным именем версии.
Конфигурация выглядит следующим образом:
Max Replica Count: 8
Min Replica Count: 0
Polling Interval: 15
Rollout:
Scaling Strategy:
Successful Jobs History Limit: 0
Triggers:
Metadata:
Enable TLS: true
Host: [IP Address]
List Length: 1
List Name: [List Name]
Password From Env: CELERY_PASS
Port: 6378
Type: redis
Если мы отправим задания в очередь, для некоторых они будут нормально масштабироваться, однако последующие отправки иногда не будут запускать масштабирование. Наиболее подозрительным является то, что в журналах операторов отображаются метрики запущенных модулей, но0
для ожидания, хотя в списке Redis явно есть эти элементы.
2023-10-27T18:24:10Z INFO scaleexecutor Scaling Jobs {"scaledJob.Name": "[Scaled Job Name]", "scaledJob.Namespace": "[Namespace]", "Number of running Jobs": 2}
2023-10-27T18:24:10Z INFO scaleexecutor Scaling Jobs {"scaledJob.Name": "[Scaled Job Name]", "scaledJob.Namespace": "[Namespace]", "Number of pending Jobs ": 0}
Есть ли какое-то недокументированное регулирование/кэширование/тайм-аут, которое может быть причиной этого?