Описание тега confluent
Confluent Inc. - основанная в Пало-Альто компания по разработке программного обеспечения, основанная командой, которая создала Apache Kafka в LinkedIn и масштабировала Kafka для размещения более 1 триллиона сообщений в день. С тех пор Kafka стала основой инфраструктур данных тысяч компаний, таких как Netflix, Paypal, Uber, Cisco и Goldman Sachs.
1
ответ
Изменение лидерства кластера зоопарка, когда лидер умирает
Далеко внизу вы можете найти файлы docker-compose.yml. Предпосылки: Я запускаю 3 сервера zookeeper как кластер, используя docker-compose (docker-compose.yml, 3 zookeepers), затем добавляю 4. один (еще один docker-compose.yml, 1 zookeeper) в кластер.…
23 янв '17 в 06:05
1
ответ
Как выполнить операцию соединения с данными в формате AVRO в потоках kafka с использованием JAVA
ПОТОК-1: [KSTREAM-SOURCE-0000000000]: null, {"id": 1, "name": "john", "age": 26, "updated_at": 1525774480752} [KSTREAM-SOURCE-0000000000]: null, {"id": 2, "name": "jane", "age": 24, "updated_at": 1525774480784} [KSTREAM-SOURCE-0000000000]: null, {"i…
21 май '18 в 10:38
0
ответов
Установка Confluent на Ubuntu Windows Tool box не работает
Я пытаюсь установить последнюю версию Confluent 4.1.x на Ubuntu 16.04.3 TLS на моем Windows 7 через Oracle Tool box. sudo apt-get update && sudo apt-get install confluent-platform-oss-2.11 Получил уведомление при установке: Notice: Not creat…
20 май '18 в 14:41
1
ответ
Настройка конфигурации Kafka Connect HDFS?
Я хочу настроить Kafka Connect для записи максимально возможного количества записей в HDFS (мне нужно записывать около 100B записей в день, каждая запись составляет около 1.2Kb). У меня есть сервер Kafka с 256 ГБ оперативной памяти. Я пытаюсь настро…
29 авг '18 в 11:37
1
ответ
Как динамически обновить определение потока KSQL на основе схемы реестра
Следуя этому посту, я создал поток KSQL на основе схемы-реестра. Соединитель Kafka JDBC обновляет последнюю схему в реестре схем. Новый поток создается с самой последней схемой, но существующий поток - в самой старой схеме. Я не знаю, когда изменитс…
29 ноя '18 в 13:13
0
ответов
Как подключить Elasticsearch к Кафке?
Я новичок в Kafka и эластичный поиск, я хочу перенести данные Elasticsearch в тему kafka, с соединителем (источник) Я вижу для kafka эластичного поиска, но я хочу упругого поиска для kafka Я делаю этот коннектор с logstash, но это не совсем то, что …
27 сен '18 в 08:19
1
ответ
Упаковка пользовательского плагина Java `partitioner.class` для Kafka Connect в Confluent 4.1 + Kafka 1.1?
Я успешно использовал простой пользовательский класс Partitioner, написанный на Java, для приемника Kafka Connect на Confluent 3.2.x (Kafka 0.10.x). Я хочу выполнить обновление до Confluent 4.1 (Kafka 1.1) и у меня возникают ошибки. Механизм загрузк…
01 май '18 в 17:54
0
ответов
Разъем кафка для системного журнала
В кафке подключите системный журнал, где системный журнал будет искать данные? Это мой файл свойств системного журнала name=syslog-server tasks.max=2 connector.class=com.github.jcustenborder.kafka.connect.syslog.SSLTCPSyslogSourceConnector kafka.top…
23 янв '18 в 10:20
1
ответ
Задание kafka connect, которое работало в версии 0.9, не работало в 0.10.2
Когда я запускаю работу по подключению kafka, я получаю сообщение об ошибке ниже [2017-04-25 14:56:22,806] ERROR Failed to create job for ./etc/kafka-connect-jdbc/sqlserver.properties (org.apache.kafka.connect.cli.ConnectStandalone:88) [2017-04-25 1…
25 апр '17 в 22:16
0
ответов
Понимание распределения идентификаторов схемы в реестре схем Confluent
Я пытаюсь понять, как глобально уникальные UUID генерируются для схем в реестре схем, но не понимаю следующий текст, представленный на этой странице. Распределение идентификаторов схемы всегда происходит в главном узле, и они гарантируют, что иденти…
27 сен '18 в 18:34
1
ответ
Не удается найти библиотеку Кафки в хранилище
Я использую confluent и в соответствии с официальным документом, мне нужно только настроить ниже в pom.xml, как это: <repositories> <repository> <id>confluent</id> <url>http://packages.confluent.io/maven/</url> &l…
04 дек '18 в 11:05
1
ответ
Идеальное значение для конфигурации конфигурации Kafka Connect Distributed tasks.max?
Я ищу продукт для ионизации и развертывания моего приложения Kafka Connect. Тем не менее, у меня есть два вопроса о настройке tasks.max, которая необходима и очень важна, но детали неясны для того, чтобы на самом деле установить это значение. Мой са…
27 янв '17 в 18:30
0
ответов
Соединитель раковины не загружает данные в существующую таблицу Postgres?
Я пытаюсь отправить сообщения из темы кафки (данные в формате avro) в таблицу Postgres. У меня есть все права на создание / вставку / обновление / удаление базы данных / таблицы. В первый раз, когда я запустил соединитель приемника, он автоматически…
30 янв '19 в 07:13
0
ответов
Не могу использовать авро-данные из тем Confluent Kafka в Hbase
Я использую приведенный ниже пример кода для загрузки некоторых тестовых данных из Confluent Kafka в Hbase, но почему-то я не вижу данных, поступающих в Hbase. Я перепробовал все, но не работал вообще. Кто-нибудь может помочь в этом? Как продублиров…
19 май '18 в 03:24
0
ответов
Kafka для postgresql с помощью Kafka Connect JDBC разъем приемника
Я пытаюсь соединить kafka с postgresql. Я использую соединитель раковины JDBC. Это мой файл sink.properties: name=test-sink connector.class=io.confluent.connect.jdbc.JdbcSinkConnector tasks.max=1 topics=orders connection.url=jdbc:postgresql://localh…
12 мар '18 в 07:57
1
ответ
KafkaConnect - Доверенная проверка подлинности SQL (Windows)
В настоящее время, чтобы подключиться к базе данных MSSQSL, мне нужно создать локальную учетную запись SQL, как указано ниже: name=jdbcIbLog connector.class=io.confluent.connect.jdbc.JdbcSourceConnector **connection.user=username** **connection.pass…
04 июл '18 в 04:53
2
ответа
Kafka Подключиться, чтобы сохранить тему в индексе Elasticsearch, используя поле из сообщения (json)
Я пытаюсь индексировать сообщения в Elasticsearch, используя SMT только из API Connect Kafka. До сих пор мне повезло с простым использованием функциональности роутера темы и метки времени. Однако теперь я хотел бы создать отдельные индексы на основе…
07 фев '19 в 09:49
0
ответов
Kafka Connect - NoClassDefFoundError: Не удалось инициализировать класс org.apache.calcite.jdbc.Driver
При публикации нового исходного соединителя с использованием Confluent: curl -X POST -H "Тип содержимого: application / json" -d @ db2-source-conn-incr.json http://localhost:8083/connectors Я получаю это сообщение: <html> <head> <meta…
16 окт '18 в 15:10
1
ответ
Ошибка при использовании kafka-avro-console-consumer потребляет сообщение avro, отправленное весенним облачным потоком kafka
Я попробовал официальный пример схемы-реестра-слияния (потребитель / производитель) с моим локальным установленным слитком 4.0.0, он может отправлять "сенсорное" авро-сообщение, когда отправляю пост-запрос и получаю в приемнике, но когда я использую…
26 авг '18 в 14:17
1
ответ
Сбой соединения kafka с s3 с ошибкой Неожиданное исключение в потоке [KafkaBasedLog Work Thread -
Я установил на EC2 сливной (4.0) разъем, который читает с кафки и пишет на S3. Автономная попытка идет хорошо: bin / connect-standalone etc / standalone / example-connect-worker.properties etc / standalone / example-connect-s3-sink.properties Однако…
30 янв '18 в 21:32