Описание тега apache-beam-kafkaio
1
ответ
Производитель Apache Beam KafkaIO направляет разные сообщения в разные темы
У меня есть случай использования, когда входящие данные имеют ключ, который идентифицирует другой тип данных. Есть одна тема кафки ввода, в которую бросаются все типы данных. Пневматический конвейер считывает все сообщения из входной темы kafka и до…
21 май '20 в 00:39
1
ответ
как указать брокеров kafka с KafkaIO в Apache Beam
Я пытаюсь настроить конвейер KafkaIO, но не могу понять, как указать брокеров. Указание имени брокера и порта, похоже, этого не делает. Я ни в коем случае не указываю, где находится мой кластер kafka: pipeline .apply(KafkaIO.<Long, String>read…
20 июн '20 в 20:48
1
ответ
Apache Beam KafkaIO упоминает раздел темы вместо имени темы
Apache Beam KafkaIO поддерживает для потребителей kafka чтение только из указанных разделов. У меня есть следующий код. KafkaIO.<String, String>read() .withCreateTime(Duration.standardMinutes(1)) .withReadCommitted() .withBootstrapServers(endP…
05 июл '20 в 16:18
0
ответов
Как работает концепция контрольных точек / отказоустойчивости в Apache Beam?
Я работаю над конвейером потоковой передачи лучей apache с производителем Kafka в качестве ввода и потребителем для вывода. Может ли кто-нибудь помочь мне с контрольной точкой в apache-beam
09 июл '20 в 12:06
1
ответ
писать в несколько тем Kafka в apache-beam?
Я выполняю простую программу подсчета слов, в которой я использовал одну тему Kafka (производитель) в качестве источника ввода, а затем применяю к ней pardo для расчета количества слов. Теперь мне нужна помощь, чтобы написать слова на разные темы, и…
06 июл '20 в 21:14
1
ответ
Потребителям Apache Beam KafkaIO в группе потребителей назначается уникальный идентификатор группы
Я запускаю несколько экземпляров apache beam KafkaIO с помощью DirectRunner, которые читаются из той же темы. Но сообщение доставляется во все запущенные экземпляры. После просмотра конфигурации Kafka, которую я нашел, к имени группы добавляется уни…
20 июл '20 в 20:58
1
ответ
Как установить AvroCoder с KafkaIO и Apache Beam с Java
Я пытаюсь создать конвейер, который передает данные из темы Kafka в BigQuery Google. Данные в теме есть в Авро. Я вызываю функцию apply 3 раза. Один раз прочитать из Kafka, один раз извлечь запись и один раз написать в BigQuery. Вот основная часть к…
19 июн '20 в 17:58
0
ответов
KafkaIO с Apache Beam застрял в бесконечном цикле на DirectRunner
Я пытаюсь запустить этот простой пример, в котором данные из темы Kafka отфильтрованы: https://www.talend.com/blog/2018/08/07/developing-data-processing-job-using-apache-beam-streaming-pipeline/ У меня аналогичная настройка с брокером localhost с на…
21 июн '20 в 21:30
2
ответа
Как вывести схему avro из темы kafka в Apache Beam KafkaIO
Я использую kafkaIO Apache Beam для чтения из раздела, имеющего схему avro в реестре схем Confluent. Я могу десериализовать сообщение и записать в файлы. Но в конечном итоге я хочу написать в BigQuery. Мой конвейер не может определить схему. Как мне…
24 июн '20 в 01:53
0
ответов
Apache Beam Java KafkaIO пишет Avro - регистрируемая схема несовместима с более ранней схемой
Я получаю следующую ошибку при попытке написать сообщение на луч KafkaIO apache в формате AVRO. Caused by: org.apache.kafka.common.errors.SerializationException: Error registering Avro schema: {"type":"record","name":"MyClass","namespace":"my.namesp…
24 май '20 в 21:31
0
ответов
Как вывести схему из реестра Confluent Schema Registry с помощью Apache Beam?
Я пытаюсь создать конвейер Apache Beam, в котором я читаю тему kafka и загружаю ее в Bigquery. Используя реестр схем Confluent, я должен иметь возможность вывести схему при загрузке в Bigquey. Однако схема не выводится, когда загрузка завершается не…
30 июн '20 в 16:41
1
ответ
RemoteEnvironment нельзя использовать при отправке программы через клиента или при запуске в контексте TestEnvironment.
Я пытался выполнить подсчет слов apache-beam, используя Kafka в качестве ввода и вывода. Но при отправке jar в кластер flink возникла эта ошибка - The RemoteEnvironment cannot be used when submitting a program through a client, or running in a TestE…
13 июл '20 в 15:55
2
ответа
Как выполнить контрольную точку в Apache Beam при использовании flink runner?
Я читаю из несвязанного источника (Kafka) и пишу его количество слов в другую тему Kafka. Теперь я хочу выполнить контрольную точку в Beam Pipeline. Я выполнил все инструкции в документации apache beam, но каталог контрольных точек не создается даже…
06 июл '20 в 11:06
1
ответ
Потребители Apache Beam KafkaIO в группе потребителей читают одно и то же сообщение
Я использую KafkaIO в потоке данных для чтения сообщений из одной темы. Я использую следующий код. KafkaIO.<String, String>read() .withReadCommitted() .withBootstrapServers(endPoint) .withConsumerConfigUpdates(new ImmutableMap.Builder<Strin…
16 май '20 в 23:09
2
ответа
Получение сообщений из Google Pubsub и публикация их в Kafka
Я пытаюсь использовать сообщения Google PubSub с помощью синхронного PULL API. Это доступно в библиотеке соединителей ввода-вывода Google PubSub для Apache Beam. Я хочу записывать использованные сообщения в Kafka с помощью KafkaIO. Я хочу использова…
09 ноя '20 в 01:55
0
ответов
искра-бегун какфаИО луч выкидывает ConcurrentModification после работы 2 часа
После нескольких часов работы в пряжи он бросает Concurrentmoidfication версия mybeam sdk 2.23.0 Read<byte[], byte[]> kafkaRead = KafkaIO.<byte[], byte[]> read() .withBootstrapServers(brokers) .withConsumerConfigUpdates(properties) .with…
16 сен '20 в 17:22
0
ответов
Apach Beam KafkaIo продолжает генерировать потребителя
Луч кафкаИо кажется продолжает генерировать потребителя кафка почему? введите описание изображения здесь
09 сен '20 в 04:03
0
ответов
Клиент Apache Beam + Kafka с учетными данными Kerberos
Попытка реализовать поток данных (задание Apache Beam) для подключения к Kafka Broker с учетными данными Kerberos. Насколько я понимаю - используйте KafkaIO.Read.withConsumerFactoryFn для предоставления фабричной функции, которая будет вызываться дл…
20 сен '20 в 19:13
1
ответ
Apache Beam HTTP с неограниченным исходным кодом Python
Возможно ли с текущей версией Apache Beam разработать неограниченный источник, получающий данные в HTTP-сообщении? Я намерен запустить HTTP-сервер и внедрить полученные сообщения в Beam Pipeline. Если возможно, можно ли это сделать из существующих и…
16 апр '21 в 11:15
0
ответов
Проблема неактивного раздела коннектора источника Apache Beam Kafka с «CustomTimeStampPolicyWithLimitedDelay»
Источник - кафка для нашего лучевого трубопровода. Коннектор ввода-вывода kafka в Apache Beam поддерживает перемещение водяного знака (в случае flink runner), даже если какой-либо раздел неактивен. Приложения, которые хотели бы обрабатывать пакеты н…
16 апр '21 в 08:42