Значение сообщения в Confluent Cloud некорректно декодируется

Question

Я новичок в кафке и конфлюэнте. Я написал Продюсер, почти идентичный руководству на https://www.confluent.fr/blog/schema-registry-avro-in-spring-boot-application-tutorial/ с моей собственной фиктивной моделью. Application.yaml тоже самое. Когда я отправляю сообщение в ccloud - получаемые сообщения - тарабарщина

Есть идеи, как это исправить? Когда я делаюSystem.out.println POJO avro перед отправкой в ​​kafka, объект выглядит хорошо со всеми правильными значениями.

{
  "locationId": 1, 
  "time": 1575950400, 
  "temperature": 9.45, 
  "summary": "Overcast", 
  "icon": "cloudy", 
  "precipitationProbability": 0.24,
  ...

Когда я загружаю сообщение из ccloud, value выглядит так

[ 
 {
   "topic":"Weather",
   "partition":0,
   "offset":14,
   "timestamp":1576008230509,
   "timestampType":"CREATE_TIME",
   "headers":[],
   "key":"dummyKey",
   "value":"\u0000\u0000\u0001��\u0002\u0002����\u000b\u0002fffff�\"@\
   ...
}

Answer 1

На самом деле вы все делаете правильно:) То, что вы делаете, - это всего лишь текущее ограничение в графическом интерфейсе Confluent Cloud при отображении сообщений Avro.

Если вы воспользуетесь сообщением как Avro, вы увидите, что все в порядке. Вот пример использования сообщения из Confluent Cloud с помощью kafkacat:

$ source .env
$ docker run --rm edenhill/kafkacat:1.5.0 \
          -X security.protocol=SASL_SSL -X sasl.mechanisms=PLAIN \
          -X ssl.ca.location=./etc/ssl/cert.pem -X api.version.request=true \
          -b ${CCLOUD_BROKER_HOST}:9092 \
          -X sasl.username="${CCLOUD_API_KEY}" \
          -X sasl.password="${CCLOUD_API_SECRET}" \
          -r https://"${CCLOUD_SCHEMA_REGISTRY_API_KEY}":"${CCLOUD_SCHEMA_REGISTRY_API_SECRET}"@${CCLOUD_SCHEMA_REGISTRY_HOST} \
          -s avro \
          -t mssql-04-mssql.dbo.ORDERS \
          -f '"'"'Topic %t[%p], offset: %o (Time: %T)\nHeaders: %h\nKey: %k\nPayload (%S bytes): %s\n'"'"' \
          -C -o beginning -c1


Topic mssql-04-mssql.dbo.ORDERS[2], offset: 110 (Time: 1576056196725)
Headers:
Key:
Payload (53 bytes): {"order_id": {"int": 1345}, "customer_id": {"int": 11}, "order_ts": {"int": 18244}, "order_total_usd": {"double": 2.4399999999999999}, "item": {"string": "Bread - Corn Muffaleta Onion"}}

Это та же тема, что и здесь, с двоичным файлом Avro. value поле: