Описание тега mongodb-kafka-connector
Официальный коннектор MongoDB Kafka.
1
ответ
MongoDB Kafka Connector не генерирует ключ сообщения с идентификатором документа Mongo
Я использую бета-версию MongoDB Kafka Connector для публикации из MongoDB в теме Kafka. Сообщения генерируются в Kafka, но их ключ равен нулю, когда это должен быть идентификатор документа: Это мой конфиг автономной конфигурации: bootstrap.servers=x…
26 июл '19 в 14:31
1
ответ
Используя mongo-kafka в качестве соединителя приемника, как сопоставить поле значения записи темы с другим значением?
Я новичок как в Kafka Connect, так и в MongoDB. У меня есть запись в теме Kafka со значением{ "Id": "foo" } и я хотел бы Id сопоставить с BARпри хранении в виде документа в коллекции в mongo. Ожидаемый результат будет{ "BAR": "foo" }. Что мне следуе…
14 окт '19 в 23:00
1
ответ
Используя mongo-kafka в качестве коннектора приемника, как установить значение поля типа Date?
У меня есть коннектор приемника монго, а также реестр схем. Я настроил коннектор приемника mongo для доступа к реестру схемы аналогично: https://github.com/mongodb/mongo-kafka/blob/master/docs/sink.md Я создал следующую схему: https://github.com/mon…
25 окт '19 в 23:34
0
ответов
Как исправить идентификатор сообщения, исходящий от kafka-mongo-connector, настроенного как источник
Я пытаюсь добавить kafka-mongo-connector к kafka-connect, чтобы он был источником событий. Я настраиваю коннектор так: {"name": "mongo-source", "config": { "tasks.max":"1", "connector.class":"com.mongodb.kafka.connect.MongoSourceConnector", "connect…
08 окт '19 в 12:01
1
ответ
Свойства коннектора Debezium mongodb для ограничения cdc определенными коллекциями
Можем ли мы ограничить объем данных, которые мы получаем в свойствах коннектора в конфигурациях коннектора debezium mongodb. Поскольку debezium ищет cdc в базе данных и, как я понимаю, это для всей базы данных, и я не мог найти способ ограничить нес…
11 дек '19 в 08:48
1
ответ
Автоматическое переподключение неудачных задач в Kafka-Connect
Я использую плагин mongo-source с Kafka-connect. Я проверил состояние исходной задачи, и она работала и слушала коллекцию mongo. Я вручную остановил службу mongod и подождал около 1 минуты, а затем снова запустил ее. Я проверил исходную задачу, чтоб…
08 янв '20 в 22:23
1
ответ
как остановить остановку коннектора mongodb-kafka
Я использую коннектор mongo-kafka на моем автономном узле kafka. Есть ли какой-нибудь изящный способ (без использования метода kill) убить процесс коннектора mongo-kafka.
24 мар '20 в 16:45
2
ответа
Можем ли мы обновить / добавить запись в mongodb? источник данных - кафка
Мы можем обновить / добавить запись в mongodb, НО есть ли какой-либо метод или функция, с помощью которых мы можем обновить или добавить документ прямо в mongodb, и исходная система - это kafka, а место назначения - mongodb.
09 дек '19 в 11:42
2
ответа
Как указать MongoSource (используя Kafka Connect), какой ключ сериализовать
Я использую источник mongo, чтобы прослушивать поток изменений mongo и помещать все события в kafka, но я задыхаюсь, чтобы найти способ извлечь "настоящий" ключ из события. Я попробовал преобразование, но это не сработало, и я получил ошибку: Caused…
23 дек '19 в 19:53
1
ответ
Kafka-MongoDB Debezium Connector: распределенный режим
Я работаю над разъемом источника debezium mongodb. Могу ли я запустить коннектор на локальном компьютере в распределенном режиме, указав адрес сервера начальной загрузки kafka в качестве удаленного компьютера (развернутого в Kubernetes) и удаленного…
10 янв '20 в 03:12
1
ответ
MongoDB Kafka Source Connector выдает исключение java.lang.IllegalStateException: Queue full при использовании copy.existing: true
При импорте данных из mongodb в kafka с помощью коннектора https://github.com/mongodb/mongo-kafka выдаетjava.lang.IllegalStateException: Queue full. Я использую настройку по умолчанию copy.existing.queue.size, что составляет 16000, и copy.existing: …
13 фев '20 в 18:01
1
ответ
MongoDB Kafka Sink Connector не обрабатывает процессор RenameByRegex
Мне нужно прослушивать события из Kafka Topic и Sink в коллекцию в MongoDB. Сообщение содержит вложенный объект со свойством id, как в примере выше. { "testId": 1, "foo": "bar", "foos": [{ "id":"aaaaqqqq-rrrrr" }] } Я пытаюсь переименовать этот влож…
13 апр '20 в 18:21
2
ответа
Как изменить название темы, созданной коннектором Kafka Connect Source Connector
У меня уже запущено производство с развернутым Kafka-Cluster и с темой " existing-topic". Я использую MongoDB-Source-Connector от Debezium. Здесь все, что я хочу, - это направить события CDC непосредственно в тему " existing-topic ", чтобы мои потре…
17 май '20 в 08:52
3
ответа
Ошибка: конфигурация не определена: тема
Мой Kafka Connect находится в кластере Kubernetes с mongo-kafka-connect-1.1.0-all.jar в папке коннекторов. У меня есть порт, перенаправленный сервис Kafka Connect на мой локальный хост, и я пытаюсь загрузить свойства для Mongo Sink Connector с помощ…
19 май '20 в 15:10
0
ответов
Разъем Kafka Sink для MongDB истекает после короткого периода бездействия
Я пытаюсь использовать коннектор приемника MongoDB для передачи данных из Kafka в Mongo. Я использую официальный коннектор приемника MongoDB для Kafka. Мой экземпляр MongoDB в облаке Azure. Коннектор работает нормально при включении и обработке данн…
08 июн '20 в 19:56
0
ответов
Невозможно возобновить исходный коннектор Kafka MongoDB
Я использую коннектор исходного кода Kafka MongoDB [https://www.confluent.io/hub/mongodb/kafka-connect-mongodb] с объединенной платформой v5.4.1 и MongoDB v3.6 ReplicaSet. Исходный соединитель Kafka MongoDB был удален, и теперь, когда он снова созда…
10 июл '20 в 12:24
1
ответ
добавить значение поля во встроенный объект массива json в монго через коннектор приемника kafka mongo
Опубликовать первую вставку: {"Customer_id": 2, "transaction_id": "1", "idd": [999, 1111], "id": 1} а затем второй: {"Customer_id": 2, "transaction_id": "2", "idd": [9, 10], "id": 1} требуемый результат: {"Customer_id": 2, "transaction_id": "2", "id…
31 дек '19 в 10:51
2
ответа
Коннектор Debezium Kafka mongodb: ошибка при подключении коннектора kafka к mongodb
Ниже моя конфигурация MongoDB в /etc/kafka/connect-mongodb-source.properties name=mongodb-source-connector connector.class=io.debezium.connector.mongodb.MongoDbConnector mongodb.hosts=/remoteserveraddress:27017 mongodb.name=mongo_conn initial.sync.m…
10 янв '20 в 06:40
1
ответ
Невозможно подключить MongoDB в качестве источника к Kafka
Я пытаюсь подключить MongoDB в качестве источника к серверу подключения Kafka, но когда я запускаю команду CURL POST, чтобы зарегистрировать исходный соединитель Mongo. Я успешно проверил наличие коннектора в подключаемых модулях коннектора kafka-co…
28 мар '20 в 01:16
2
ответа
Официальный коннектор исходного кода MongoDB для Apache Kafka с MongoDB-4.0
У меня есть требование, когда я должен захватывать события MongoDB ChangeStream (вставки / обновления и т. Д.) И предпринимать некоторые действия (сохранять в OracleDB). Я подумал об этом дизайне, который кажется хорошим: "MongoDB-ChangeStream" --> …
08 май '20 в 03:07