Описание тега apache-kafka-connect
Apache Kafka Connect is a tool for scalable and reliable streaming data between Apache Kafka and other data systems.
1
ответ
Кафка Коннект против Акка-стрим Кафка
Я собираюсь внедрить потоковую инфраструктуру для своей организации на основе Kafka и Spark. Тем не менее, я озадачен, решив, как лучше поступить, когда дело доходит до приема данных в Кафке. Многие решения действительно возможны для этой задачи Сам…
03 авг '17 в 13:24
1
ответ
Какие API REST доступны для Kafka Connect?
Я наткнулся на 2 ссылки о API REST для Kafka Connect. Есть некоторые дополнительные в https://kafka.apache.org/documentation. Получите ошибку 404 при использовании GET /connectors/{name}/status или же POST /connectors/{name}/restart, Но эти сервисы …
15 ноя '16 в 23:22
3
ответа
Обновление коннектора Debezium MySQL с опцией белого списка таблиц
Я использую MySQL-коннектор Debezium (0.7.5) и пытаюсь понять, каков наилучший подход, если я хочу обновить эту конфигурацию с помощью опции table.whitelist, Допустим, я создаю соединитель, что-то вроде этого: curl -i -X POST -H "Accept:application/…
28 ноя '18 в 01:26
2
ответа
При использовании Kafka High Level ConsumerConnector, где будут сохраняться смещения?
Как следует из нового документа, сама Kafka позаботится об управлении смещениями при использовании API высокого уровня по умолчанию. Но когда я создаю ConsumerConnector, как показано ниже, он все равно требует от меня предоставления свойства zookeep…
12 окт '16 в 21:03
1
ответ
Можно ли использовать функции базы данных, такие как dateof(now()), в Kafka Connect Sink с KCQL?
Я пытаюсь сделать простой Раковина из темы Кафки, как INSERT INTO table SELECT * FROM topicно также добавьте столбец insert_timestamp со значением dateof(now()) Возможно ли использование таких функций базы данных в KCQL для коннектора приемника? Мож…
07 мар '18 в 22:16
1
ответ
Настройка конфигурации Kafka Connect HDFS?
Я хочу настроить Kafka Connect для записи максимально возможного количества записей в HDFS (мне нужно записывать около 100B записей в день, каждая запись составляет около 1.2Kb). У меня есть сервер Kafka с 256 ГБ оперативной памяти. Я пытаюсь настро…
29 авг '18 в 11:37
1
ответ
Как динамически обновить определение потока KSQL на основе схемы реестра
Следуя этому посту, я создал поток KSQL на основе схемы-реестра. Соединитель Kafka JDBC обновляет последнюю схему в реестре схем. Новый поток создается с самой последней схемой, но существующий поток - в самой старой схеме. Я не знаю, когда изменитс…
29 ноя '18 в 13:13
2
ответа
Kafka Connect не удалось добавить MySqlConnector
Мне нужна чья-то помощь. Я следую учебному пособию Потоковая передача данных из MySQL в Kafka с Kafka Connect и Debezium, но у меня возникают проблемы с подключением MySql к серверу Kafka с использованием Debezium MySQL Connector. Вот мои настройки …
14 авг '18 в 07:22
1
ответ
Упаковка пользовательского плагина Java `partitioner.class` для Kafka Connect в Confluent 4.1 + Kafka 1.1?
Я успешно использовал простой пользовательский класс Partitioner, написанный на Java, для приемника Kafka Connect на Confluent 3.2.x (Kafka 0.10.x). Я хочу выполнить обновление до Confluent 4.1 (Kafka 1.1) и у меня возникают ошибки. Механизм загрузк…
01 май '18 в 17:54
0
ответов
Разъем кафка для системного журнала
В кафке подключите системный журнал, где системный журнал будет искать данные? Это мой файл свойств системного журнала name=syslog-server tasks.max=2 connector.class=com.github.jcustenborder.kafka.connect.syslog.SSLTCPSyslogSourceConnector kafka.top…
23 янв '18 в 10:20
1
ответ
Задание kafka connect, которое работало в версии 0.9, не работало в 0.10.2
Когда я запускаю работу по подключению kafka, я получаю сообщение об ошибке ниже [2017-04-25 14:56:22,806] ERROR Failed to create job for ./etc/kafka-connect-jdbc/sqlserver.properties (org.apache.kafka.connect.cli.ConnectStandalone:88) [2017-04-25 1…
25 апр '17 в 22:16
1
ответ
Идеальное значение для конфигурации конфигурации Kafka Connect Distributed tasks.max?
Я ищу продукт для ионизации и развертывания моего приложения Kafka Connect. Тем не менее, у меня есть два вопроса о настройке tasks.max, которая необходима и очень важна, но детали неясны для того, чтобы на самом деле установить это значение. Мой са…
27 янв '17 в 18:30
2
ответа
Создайте соединитель kafka с именем, которое еще не используется
Когда я пытаюсь создать соединитель kafka с именем, которое уже используется через вызов rest, я получаю сообщение об ошибке: {"error_code":409,"message":"Тест соединителя уже существует"} Я хочу обойти эту ошибку, например, при создании Кафка Тема …
08 янв '19 в 13:45
0
ответов
Соединитель раковины не загружает данные в существующую таблицу Postgres?
Я пытаюсь отправить сообщения из темы кафки (данные в формате avro) в таблицу Postgres. У меня есть все права на создание / вставку / обновление / удаление базы данных / таблицы. В первый раз, когда я запустил соединитель приемника, он автоматически…
30 янв '19 в 07:13
1
ответ
Кафка подключить несколько тем в свойствах разъема приемника
Я пытаюсь прочитать 2 темы Кафки, используя соединитель раковины Cassandra и вставить в 2 таблицы Cassandra. Как я могу сделать это? Это мое connector.properties файл: name=cassandra-sink-orders connector.class=com.datamountaineer.streamreactor.conn…
23 фев '18 в 06:26
0
ответов
Не могу использовать авро-данные из тем Confluent Kafka в Hbase
Я использую приведенный ниже пример кода для загрузки некоторых тестовых данных из Confluent Kafka в Hbase, но почему-то я не вижу данных, поступающих в Hbase. Я перепробовал все, но не работал вообще. Кто-нибудь может помочь в этом? Как продублиров…
19 май '18 в 03:24
0
ответов
Kafka Sink Connector - Разделите темы между задачами
Я пытаюсь создать собственный коннектор раковины MongoDb для Apache Kafka. Мои конфиги Sink Connector следующие: name=mongodb-connect-sink connector.class=MongodbSinkConnector tasks.max=2 uri=mongodb://localhost:27017 databases.collections=Collectio…
12 апр '18 в 07:11
0
ответов
Kafka для postgresql с помощью Kafka Connect JDBC разъем приемника
Я пытаюсь соединить kafka с postgresql. Я использую соединитель раковины JDBC. Это мой файл sink.properties: name=test-sink connector.class=io.confluent.connect.jdbc.JdbcSinkConnector tasks.max=1 topics=orders connection.url=jdbc:postgresql://localh…
12 мар '18 в 07:57
1
ответ
KafkaConnect - Доверенная проверка подлинности SQL (Windows)
В настоящее время, чтобы подключиться к базе данных MSSQSL, мне нужно создать локальную учетную запись SQL, как указано ниже: name=jdbcIbLog connector.class=io.confluent.connect.jdbc.JdbcSourceConnector **connection.user=username** **connection.pass…
04 июл '18 в 04:53
0
ответов
Поле метки времени в соединителе источника Avro без часового пояса
У меня есть поле SQL DATETIME DT что я хочу кормить в Кафку с помощью Avro. DT находится по местному времени, но не имеет часового пояса; это хранится в другом столбце TZ как смещение от UTC в минутах. Похоже, что отметка времени Avro будет подходит…
07 фев '19 в 10:36