Опубликовать сообщение в облачном кластере Confluent от kafka-python

Question

Я использую пакет kafka-python для публикации сообщений в облачном кластере kafka.

Мой код выглядит следующим образом:

    from kafka import KafkaProducer
    producer=KafkaProducer(
                    bootstrap_servers='pkc-epgnk.us-central1.gcp.confluent.cloud:9092',
                    security_protocol='SASL_SSL',
                    sasl_mechanism='PLAIN',
                    ssl_certfile='/usr/local/etc/openssl/cert.pem',
                    sasl_plain_username='[api_key]',
                    sasl_plain_password='[api_secret]')

    producer.prodcue(topic='file-ingestion',key=b'',value=b'test')

Запустив код выше, я получаю ошибку ниже:

kafka.errors.NoBrokersAvailable: NoBrokersAvailable

Руководство по слитному кафке предложило мне установить ниже значения для производителя C/C++; однако, я не могу установить все значения производителем kafka-python

bootstrap.servers=pkc-epgnk.us-central1.gcp.confluent.cloud:9092
api.version.request=true
broker.version.fallback=0.10.0.0
api.version.fallback.ms=0
sasl.mechanisms=PLAIN
security.protocol=SASL_SSL
ssl.ca.location=/usr/local/etc/openssl/cert.pem
sasl.username=<CLUSTER_API_KEY>
sasl.password=<CLUSTER_API_SECRET>

Answer 1

Вероятно, вам следует использовать клиент confluent-kafka-python для установки этих свойств и для лучшей интеграции и поддержки между продуктами

Пример кода от Github

from confluent_kafka import Producer, Consumer

p = Producer({
    'bootstrap.servers': '<ccloud bootstrap servers>',
    'broker.version.fallback': '0.10.0.0',
    'api.version.fallback.ms': 0,
    'sasl.mechanisms': 'PLAIN',
    'security.protocol': 'SASL_SSL',
    'sasl.username': '<ccloud key>',
    'sasl.password': '<ccloud secret>'
})