Описание тега confluent-schema-registry
Реестр схем предоставляет хранилище, поддерживаемое Kafka, для хранения и извлечения схем Avro. Он также предоставляет сериализаторы Avro для клиентов Kafka.
1
ответ
Как динамически обновить определение потока KSQL на основе схемы реестра
Следуя этому посту, я создал поток KSQL на основе схемы-реестра. Соединитель Kafka JDBC обновляет последнюю схему в реестре схем. Новый поток создается с самой последней схемой, но существующий поток - в самой старой схеме. Я не знаю, когда изменитс…
29 ноя '18 в 13:13
0
ответов
Понимание распределения идентификаторов схемы в реестре схем Confluent
Я пытаюсь понять, как глобально уникальные UUID генерируются для схем в реестре схем, но не понимаю следующий текст, представленный на этой странице. Распределение идентификаторов схемы всегда происходит в главном узле, и они гарантируют, что иденти…
27 сен '18 в 18:34
1
ответ
Как установить schema.registry.URL?
Я тестирую отправку GenericRecord. Но следующий код let fullName = "Test k" let uniEncoding = new UnicodeEncoding() let str = uniEncoding.GetBytes("abcdefg") use ms = new MemoryStream() ms.Write(str, 0, str.Length) let content = ms.ToArray() let con…
17 авг '18 в 22:38
2
ответа
Что такое схема ключей в реестре схем?
У меня нет точного представления о схеме ключей, о том, что это такое и почему его нужно использовать в качестве ключа, автоматически генерируется, и мы просто передаем значение (сообщение). В качестве значения мы передаем схему в сериализатор AVRO,…
08 мар '18 в 08:39
1
ответ
Ошибка при использовании kafka-avro-console-consumer потребляет сообщение avro, отправленное весенним облачным потоком kafka
Я попробовал официальный пример схемы-реестра-слияния (потребитель / производитель) с моим локальным установленным слитком 4.0.0, он может отправлять "сенсорное" авро-сообщение, когда отправляю пост-запрос и получаю в приемнике, но когда я использую…
26 авг '18 в 14:17
1
ответ
Сбой соединения kafka с s3 с ошибкой Неожиданное исключение в потоке [KafkaBasedLog Work Thread -
Я установил на EC2 сливной (4.0) разъем, который читает с кафки и пишет на S3. Автономная попытка идет хорошо: bin / connect-standalone etc / standalone / example-connect-worker.properties etc / standalone / example-connect-s3-sink.properties Однако…
30 янв '18 в 21:32
0
ответов
Кафка государственный магазин возвращает ноль при использовании Avro
У нас есть таблица kTable, в которой мы отображаем значения и материализуем их в KeyValueStore, используя следующий код: @Bean public KTable<String, CancelEvent> kTable(StreamsBuilder kStreamBuilder, ValueMapper<CancelEvent, CancelEvent>…
08 ноя '18 в 14:15
1
ответ
Реестр Spring Embedded Kafka + Mock Schema: Государственный магазин ChangeLog Schema не зарегистрирован
Я создаю интеграционный тест для нашей системы kafka с помощью Spring Embedded Kafka Broker с MockSchemaRegistryClient. Я создаю тест для одной из наших топологий Stream, созданный с использованием API Streams (KStreamBuilder). Эта конкретная тополо…
18 июн '18 в 21:16
1
ответ
Как автоматически генерировать схемы Avro в Go?
Я пытаюсь интегрировать Avro и Schema Registry в наши конвейеры данных Kafka. Теперь он выглядит внутри сервиса Go как Получить данные -> Кодировать данные в JSON -> Записать в Kafka Я хочу использовать схему Avro таким же образом Создать схему -> О…
01 июн '18 в 14:56
1
ответ
Kafka Connect экспортирует несколько типов событий из одной темы
Я пытаюсь использовать новую функцию ( https://www.confluent.io/blog/put-several-event-types-kafka-topic/), касающуюся хранения двух разных типов событий на одну и ту же тему. На самом деле я использую Confluent версии 4.1.0 и установить эти свойств…
23 май '18 в 12:50
5
ответов
Реестр схемы Кафки не совместим в той же теме
Я использую реестр схемы Kafka для создания / потребления сообщений Kafka, например, у меня есть два поля, оба они имеют строковый тип, псевдо-схема, как показано ниже: {"name": "test1", "type": "string"} {"name": "test2", "type": "string"} но после…
12 апр '18 в 15:57
1
ответ
Могу ли я использовать реестр схем для получения схемы при использовании раковины kafka s3?
У меня есть тема kafka, значение там в формате avro, где схема хранится в реестре схемы. Теперь я хочу настроить S3 Sink, следуя этому: https://docs.confluent.io/current/connect/connect-storage-cloud/kafka-connect-s3/docs/s3_connector.html На веб-ст…
27 апр '18 в 23:28
1
ответ
Как зарегистрировать схему в реестре схем на основе идентификатора ввода
По умолчанию AVRO схема регистрируется в schema-registry и давая случайно сгенерированный ID, Мое требование заключается в том, что он генерирует ID предусмотрено в запросе. Я проходил через schema-registry исходный код и понял, что они не выставили…
13 авг '18 в 12:11
1
ответ
Кафка + Кубернетес + Шлем + `/usr/bin/kafka-avro-console-consumer`?
Как мне использовать стандарт kafka-avro-console-consumer инструмент с Kafka, запущенным через Confluent Helm Charts? confluentinc/cp-kafka:5.0.0 изображение, рекомендованное для запуска утилиты cli, не содержит kafka-avro-console-consumer, Если я ш…
25 окт '18 в 20:00
0
ответов
Как отбросить поля значений по умолчанию данных AVRO на стороне потребителя Kafka AVRO?
Я определил схему в реестре схемы с 10 полями. Используя confluent-3.3.0, Kafka 0.10 {"schema": "{\"type\":\"record\",\"name\":\"User2\",\"fields\":[{\"name\":\"userName\",\"type\":\"string\"},{\"name\":\"uID\",\"type\":\"string\"},{\"name\":\"compa…
27 авг '18 в 12:32
1
ответ
Kafka Connect не работает с предметными стратегиями
контекст Я кодировал пару маленьких разъемов Kafka Connect. Тот, который просто генерирует случайные данные каждую секунду, а другой, который регистрирует их в консоли. Они интегрированы с реестром схемы, поэтому данные сериализуются с помощью Avro.…
28 ноя '18 в 14:25
1
ответ
Пример десериализации весенней конфлюентной схемы
Кто-нибудь использовал spring-kafka 2.0.0.Release и создал потребителя, который использует реестр слитой схемы в качестве источника для десериализации сообщения? Если да, можете ли вы указать мне пример? Проблема, которую я пытаюсь решить, заключает…
14 дек '17 в 20:39
0
ответов
Отсутствует реестр схем в центре управления слиянием
Я запускаю kafka с zookeper и реестром схемы, используя docker-compose локально. Когда я запускаю продюсера и потребителя с помощью Avro сериализатора, все работает нормально, я вижу _schemas тема в кафке в центре управления. Но когда я перехожу к M…
22 авг '18 в 14:49
1
ответ
Kafka Streams - SerializationException: неизвестный магический байт
Я пытаюсь создать приложение Kafka Streams, которое обрабатывает записи Avro, но я получаю следующую ошибку: Exception in thread "streams-application-c8031218-8de9-4d55-a5d0-81c30051a829-StreamThread-1" org.apache.kafka.streams.errors.StreamsExcepti…
18 дек '18 в 14:42
0
ответов
KTABLE не обнаруживает те же ключи. (Вставляет запись вместо обновления)
Случай использования Цель состоит в том, чтобы идентифицировать входящие события / строки, чтобы проверить, является ли это новой строкой или обновлением. Новая строка перейдет к другой теме, а строка обновления перейдет к другой теме. Подход: созд…
22 дек '18 в 01:36