Ошибка подключения Kafka к службе OCI Stream

Я пытаюсь настроить Kafka для подключения к OCI Stream Service.

Ниже представлена ​​конфигурация докеров Kafka connect,

        connect:
    image: confluentinc/cp-kafka-connect-base:7.0.0
    hostname: connect
    ports:
      - 8083:8083
    container_name: connect
    environment:
      CONNECT_BOOTSTRAP_SERVERS: '<BOOTSTRAP_SERVER>'
      CONNECT_REST_ADVERTISED_HOST_NAME: connect
      CONNECT_REST_PORT: 8083
      CONNECT_GROUP_ID: compose-connect-group
      CONNECT_CONFIG_STORAGE_TOPIC: '<KAFKA_CONNECT_OCI_ID>'-config
      CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR: 3
      CONNECT_OFFSET_FLUSH_INTERVAL_MS: 200000
      CONNECT_OFFSET_STORAGE_TOPIC: '<KAFKA_CONNECT_OCI_ID>'-offset
      CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR: 3
      CONNECT_STATUS_STORAGE_TOPIC: '<KAFKA_CONNECT_OCI_ID>'-status
      CONNECT_STATUS_STORAGE_REPLICATION_FACTOR: 3
      CONNECT_KEY_CONVERTER: org.apache.kafka.connect.json.JsonConverter
      CONNECT_VALUE_CONVERTER: org.apache.kafka.connect.json.JsonConverter
      CONNECT_INTERNAL_KEY_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
      CONNECT_INTERNAL_VALUE_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
      CONNECT_LOG4J_ROOT_LOGLEVEL: "INFO"
      CONNECT_LOG4J_LOGGERS: "org.apache.kafka.connect.runtime.rest=WARN,org.reflections=ERROR,com.mongodb.kafka=DEBUG"
      CONNECT_PLUGIN_PATH: /usr/share/confluent-hub-components    
      CONNECT_SECURITY_PROTOCOL: SASL_SSL
      CONNECT_SASL_MECHANISM: PLAIN
      CONNECT_SASL_JAAS_CONFIG: "<JASS_CONFIG_AS_IN_STREAMINGPOOL_SETTINGS>"
      CONNECT_PRODUCER_SECURITY_PROTOCOL: SASL_SSL
      CONNECT_PRODUCER_SASL_MECHANISM: PLAIN
      CONNECT_PRODUCER_SASL_JAAS_CONFIG: "<JASS_CONFIG_AS_IN_STREAMINGPOOL_SETTINGS>"
      CONNECT_CONSUMER_SECURITY_PROTOCOL: SASL_SSL
      CONNECT_CONSUMER_SASL_MECHANISM: PLAIN
      CONNECT_CONSUMER_SASL_JAAS_CONFIG: "<JASS_CONFIG_AS_IN_STREAMINGPOOL_SETTINGS>"
      CONNECT_CONSUMER_MAX_POLL_RECORDS: 1000
      KAFKA_HEAP_OPTS: "-Xms1G -Xmx4G"

Ошибка ниже

      ERROR [Worker clientId=connect-1, groupId=compose-connect-group] Uncaught exception in herder work thread, exiting:  (org.apache.kafka.connect.runtime.distributed.DistributedHerder) org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition <KAFKA_CONNECT_OCI_ID>-offset-0 could be determined
INFO Kafka Connect stopping (org.apache.kafka.connect.runtime.Connect)

Я не думаю, что есть проблемы с сетью, потому что, когда у меня другое название темы или неправильный сервер начальной загрузки, я получаю другую ошибку, даже не запускаюсь. Но для меня эта ошибка возникает через минуту, среднее время, когда REST-вызовы для запросов GET работают.

Обратите внимание, что у меня работает аналогичный конфиг для AWS MSK.

Пожалуйста, помогите мне решить проблему.

Источник

1 ответ

Служба потоковой передачи OCI не поддерживает последнюю версию Kafka connect. Это сработало после того, как я перешел на 5.x

Источник
Другие вопросы по тегам