KEDA интегрируется с AWS MSK

Question

Я использую AWS MSK, можно ли выполнить интеграцию с Keda? Мне не удалось найти соответствующую документацию по AWS MSK.

Answer 1

Что именно вы подразумеваете под интеграцией с AWS MSK? Что вы хотите масштабировать? Кластер или потребители?

Если вы хотите масштабировать кластер, ответ - нет. Кеда предназначена не для этого.

Напротив, если вы хотите масштабировать потребителей, ответ - да, поскольку MSK - это просто управляемый (AWS) кластер Kafka, и он уже существует триггер Kafka (он же Scaler) для того, описание которого здесь. Это основано на метрике задержки потребителя. После развертывания вашего потребителя в Kubernetes все, что вам нужно сделать, это применить ScaledObject (Custom Resource), например

apiVersion: keda.k8s.io/v1alpha1
kind: ScaledObject
metadata:
  name: kafka-scaledobject
  namespace: default
spec:
  scaleTargetRef:
    deploymentName: myDeployment # the consumer deployment you want to scale
  pollingInterval: 30
  triggers:
  - type: kafka
    metadata:
      bootstrapServers: localhost:9092
      consumerGroup: my-group       # Make sure that this consumer group name is the same one as the one that is consuming topics
      topic: test-topic
      # Optional
      lagThreshold: "50"

Надеюсь, я помог.