Описание тега debezium
Debezium - это распределенная платформа с открытым исходным кодом для потоковой передачи изменений в базе данных. Используйте этот тег для вопросов, связанных с использованием, настройкой или устранением неполадок Debezium.
3
ответа
Обновление коннектора Debezium MySQL с опцией белого списка таблиц
Я использую MySQL-коннектор Debezium (0.7.5) и пытаюсь понять, каков наилучший подход, если я хочу обновить эту конфигурацию с помощью опции table.whitelist, Допустим, я создаю соединитель, что-то вроде этого: curl -i -X POST -H "Accept:application/…
28 ноя '18 в 01:26
2
ответа
Kafka Connect не удалось добавить MySqlConnector
Мне нужна чья-то помощь. Я следую учебному пособию Потоковая передача данных из MySQL в Kafka с Kafka Connect и Debezium, но у меня возникают проблемы с подключением MySql к серверу Kafka с использованием Debezium MySQL Connector. Вот мои настройки …
14 авг '18 в 07:22
1
ответ
Коннектор источника Debezium Mongo: темы, созданные с именами, имеющими недопустимые символы
Я использую разъем источника Debezium Mongo. В документации говорится: "Название тем Kafka всегда принимает форму логического имени.databaseName.collectionName". Я сталкиваюсь с проблемой, когда исходные имена коллекций монго включают символы, котор…
13 авг '18 в 07:55
1
ответ
Грязный код Кафки - в дебезиуме китайские слова становятся грязным кодом
Я получил грязный код с debezium: "doulist_name": "2013 豆瓣电影ã€�å�£ç¢‘榜】" В базе данных mysql есть китайские слова, я использую debezium для отправки данных в kafka. Я обнаружил, что китайские слова становятся грязным кодом при получении …
16 окт '18 в 14:26
1
ответ
Тема MySQL+ Дебезиум + Кафка (тема не создана)
Используя ниже свойства name=mysql connector.class=io.debezium.connector.mysql.MySqlConnector database.hostname=localhost database.port=3306 database.user=root database.password=admin database.server.id=42 database.server.name=mysql database.history…
12 июл '18 в 21:18
1
ответ
Приемник Kafka Connect с таблицей Redshift не находится в публичной схеме
Я не могу заставить приемник Kafka Connect работать для таблицы, которой нет в общедоступной схеме. Я использую Kafka Connect для отправки записей в базу данных Redshift с помощью операции приема, используя JdbcSinkConnector. Я создал таблицу назнач…
21 сен '18 в 20:36
3
ответа
Дебезий-не содержит тип разъема
Я пытаюсь использовать Debezium для подключения к базе данных MySQL на моей локальной машине. Попытка следующей команды вызвать kafka: sudo kafka/bin/connect-standalone.shsh kafka/config/connect-standalone.properties kafka/config/connector.propertie…
07 дек '18 в 05:31
1
ответ
CDC-Debezium захватывают данные в цепочке
CDC-Debezium фиксирует событие, например, "Вставить", "Обновить" или "Удалить", когда такое событие происходит в исходной системе, например, postgres, и оно передает данные и отправляет их в систему назначения, например, NoSQL или Apache-Kafka. Я оч…
12 дек '18 в 05:36
0
ответов
Проблемы настройки производственного кластера Apache kafka
Мы пытались настроить производственный уровень кластера Kafka на машинах AWS Linux, и до сих пор у нас не получалось. Кафка версия: 2.1.0 Машины: 5 r5.xlarge machines for 5 Kafka brokers. 3 t2.medium zookeeper nodes 1 t2.medium node for schema-regis…
13 дек '18 в 05:22
1
ответ
Ошибка аутентификации при подключении к mongodb через разъем debezium mongodb
Развернули Strimzi Kafka, Strimzi Zookeeper и Debezium mongodb и настроили Debezium mongodb, curl 'http://my-connect-cluster-connect-api:8083/connectors' -X POST -i -H "Content-Type:application/json" -d '{ "name": "mongodb-connector", "config": { "c…
29 янв '19 в 13:45
0
ответов
Несколько разъемов debezium для одной базы данных MySql не работает
Поскольку обновление разъема дебезия невозможно [DBZ-175], я пытаюсь создать несколько разъемов для размещения новых таблиц. Но когда я регистрирую новый соединитель с помощью команды curl, предыдущий соединитель терпит неудачу. Всегда активен после…
20 фев '19 в 08:28
1
ответ
Разъем Debezium Kafka mongodb
Есть ли способ указать коннектору кафки, какие действия на монго следует учитывать. На самом деле, я не хочу, чтобы kafka что-то делал, когда монго-документ был удален (нужно просто обновить и вставить новый документ).Спасибо
28 фев '19 в 14:51
0
ответов
Кафка Коннект. Возможно ли разделить данные по микросекундному полю?
В моей текущей конфигурации я использую: HdfsSinkConnector и класс разделителя: TimeBasedPartitioner, Раздел генерируется полем ts_ms из дебезия, который millisecond, Ниже рабочая конфигурация: { "name": "connect-debezium-test-hdfs-sink", "config": …
24 фев '19 в 20:46
0
ответов
Соединитель Debezium + MongoDB против потока изменений MongoDB
Я пытаюсь использовать функцию потока изменений в mongodb для прослушивания изменений данных и публикации события в моей очереди сообщений (rabbitmq). Однако недавно я нашел debezium, решение для сбора данных изменений на основе журнала. Одно из огр…
11 фев '19 в 10:35
1
ответ
Дебезиум с кафкой или только врезанный-дебезиум?
Может кто-нибудь сказать мне, в чем разница между использованием встроенного Debezium (без кафки) с пакетом osgi и использованием Debezium с кафкой? Я не могу найти много о Debezium в Интернете.
10 апр '17 в 13:44
1
ответ
Ошибка разбора синтаксического разбора коннектора debezium 0.8.0 mysql,table.columnWithName возвращает ноль, почему это происходит?
Когда кто-то изменяет таблицу с помощью IDEA, задача соединителя debezium не выполнена из-за исключения NullPointerException. Это журнал подключения kafka: INFO: Connected to 192.168.1.204:3306 at mysql-bin.000098/467648 (sid:184054, cid:59755) [201…
08 авг '18 в 01:39
1
ответ
Включить BinLogs для чтения-реплики с binlog_format="row"
Недавно я включил binlogs в мою реплику для чтения, включив автоматическое резервное копирование (как уже упоминалось здесь). Однако по умолчанию binlog_format был установлен в MIXED. binlog_format=MIXED Из-за этого несоответствия происходит сбой ко…
12 окт '18 в 07:18
0
ответов
Как обрабатывать события Debezium от Kafka с помощью Pyspark?
Я следую этой инструкции https://debezium.io/docs/tutorial-for-0-2/. Мой CDC работает нормально для события MySQL (Создать, Обновить, Удалить). Я пытаюсь получить это событие kafka из pyspark, используя python, мой код все еще не может получить это …
14 ноя '18 в 09:28
0
ответов
Ошибка дебезиума при подключении к kafka multi-broker в Docker Swarm
Когда я настроил свой Рой с этим стеком: Кафка (мульти-брокер), зоокейпер, дебезиум. Кафка и zookeeper работают, могут создать тему, потребителя и производителя, но debezium показывает ошибку: org.apache.kafka.connect.errors.ConnectException: Не уда…
03 авг '18 в 10:48
1
ответ
Состояние задачи соединителя не может соединиться
Состояние задачи соединителя сбой с ошибкой: org.apache.kafka.connect.errors.ConnectException: java.lang.NoClassDefFoundError Я использую кластер kafka connect в распределенном режиме, и я использую kafka(0.10.0.2.5) connect для развертывания ambari…
27 авг '18 в 09:08