Описание тега apache-kafka
Apache Kafka - это распределенная потоковая платформа, предназначенная для хранения и обработки потоков данных с высокой пропускной способностью.
1
ответ
Kafka Streams: Частичная переработка по ключу
Сценарий: В сценарии веб- сеанса KafkaStreams с неограниченным (или многолетним) хранением, с интерактивными запросами (это может быть просмотрено при необходимости), со многими клиентами, каждый из которых имеет много пользователей (каждый пользова…
15 фев '18 в 12:14
1
ответ
Кафка проверяет сообщения в состоянии с обработкой
У меня есть приложение, в котором несколько пользователей могут отправлять операции REST для изменения состояния общих объектов. Когда объект модифицируется, происходит несколько действий (БД, аудит, ведение журнала...). Не все операции действительн…
24 сен '17 в 08:32
1
ответ
Файл FlumeData не создается в приемнике HDFS
Я пытаюсь принимать данные в реальном времени, используя Кафку в качестве источника и поток в качестве приемника. Тип раковины - HDFS. Мой продюсер работает нормально, я вижу производимые данные, и мой агент работает нормально (без ошибок при выполн…
17 июл '17 в 10:07
2
ответа
Настройка безопасности Kafka SSL вызывает проблему
Я начну рассказывать о том, чего я пытаюсь достичь. Итак, мои настройки: 6 ВМ работает под управлением Ubuntu 14.04 Version. - В 3 из них я настроил Kafka, а в 3 я создал экземпляр zookeeper. Я начинаю производить и потреблять, и все, кажется, работ…
26 фев '16 в 13:35
1
ответ
Как разбить одну тему Кафки на несколько небольших тем Кафки?
У меня есть одна главная тема Кафки, которая получает данные временных рядов. Мне нужно взять каждое значение, которое входит в эту тему, скопировать его и отправить в одну из множества отдельных тем на основе значения в его ключе. Поскольку это дан…
27 июл '18 в 18:06
1
ответ
Может ли один и тот же экземпляр Zookeeper использоваться рядом служб?
Достаточно ли хороша одна установка Zookeeper для использования кластерами Hadoop Kafka и Storm? Я хочу развернуть все в одной тестовой среде и попробовать поиграть с этими технологиями. Могу ли я использовать для этого одну установку zookeeper? так…
21 июн '14 в 09:36
2
ответа
Поглотить сообщение Avro от Кафки через Apache Camel
У меня есть маршрут Apache Camel, публикующий сообщение AVRO на тему Apache Kafka. Я только получил это, чтобы работать при установке свойства производителя 'serializerClass=kafka.serializer.StringEncoder'. В противном случае я получаю java.lang.Cla…
20 апр '15 в 12:51
1
ответ
Как сделать так, чтобы кафка-брокер работал внутри контейнера снаружи хоста докера?
Я пытаюсь представить брокеру кафки, который работает внутри контейнера, запущенного kubernetes. Я играю с KAFKA_ADVERTISED_LISTENERES а также KAFKA_LISTERNERS, Я попытался установить эти две переменные env KAFKA_ADVERTISED_LISTENERES знак равно PLA…
02 июл '18 в 12:42
1
ответ
Проблема интеграции Spark Streaming Kafka в облачной платформе Google
Мы используем Bitnami Kafka 0.8.2 + spark 1.5.2 в облачной платформе Google. Наше искровое потоковое задание (потребитель) не получает всех сообщений, отправленных на конкретную тему. Он получает 1 из ~50 сообщений (добавлен журнал в поток заданий и…
24 дек '15 в 07:32
3
ответа
Как ведут себя кафки разделы
Можете ли вы объяснить, как kafka разделы работает для этого сценария Если я произвожу 9 (1-9) сообщений, разбейте их на 1 тему и 3 раздела. Означает ли это, что: Раздел 1 содержит: [1,4,7] Раздел 2 содержит: [2,5,8] Раздел 3 содержит: [3,6,9] ? Кро…
03 июл '17 в 12:18
1
ответ
Весенняя загрузка кафки с ssl, ошибка отправки сообщения
Я тестирую пример кода Spring Kafka. Работает нормально с PLAINTEXT соединение, но не работает с SSL подключение. Я убедился, что ключ и сертификат действительны для брокера kafka, успешно запустив консольный потребитель: bin/kafka-console-consumer.…
25 апр '18 в 07:31
1
ответ
Не удалось получить информацию о смещении для группы потребителей kafka с помощью CLI zookeeper
Я использую Zookeeper Я использую интерфейс командной строки zookeeper для получения информации о смещении для данной группы потребителей. Ниже работает нормально Command: get /consumers/[ConsumerGroup]/offsets/[TopicName] o/p : 0:1640002 cZxid = 0x…
25 фев '17 в 14:02
1
ответ
Как создать Kafka ZKStringSerializer в Java?
В поисках того, как создать тему Kafka через API, я нашел этот пример в Scala: import kafka.admin.AdminUtils import kafka.utils.ZKStringSerializer import org.I0Itec.zkclient.ZkClient // Create a ZooKeeper client val sessionTimeoutMs = 10000 val conn…
18 ноя '14 в 23:28
2
ответа
Как реализовать Java-интерфейс (для Kafka) в Scala?
Как реализовать ConsumerRebalanceListener используя Scala? public class SaveOffsetsOnRebalance implements ConsumerRebalanceListener { } И что может быть примером того, что новый слушатель Scala восстанавливает баланс при подписке на темы? Пытаюсь из…
28 апр '18 в 02:23
1
ответ
Как мы можем запустить несколько потребителей кафки через командную строку?
Я тестирую производительность kafka с помощью сценария оболочки, который они уже предоставили в пакете kafka. Я создал тему с 10 разделами и перекачкой данных, как показано ниже: ./bin/kafka-producer-perf-test.sh --topic test-topic --num-records 900…
11 янв '17 в 21:46
2
ответа
Можно ли использовать аутентификацию SASL с клиентами Kafka, но не требовать ее для Zookeeper?
Я следил за этим: http://docs.confluent.io/current/kafka/sasl.html Настроить аутентификацию SASL для моего кластера Kafka. Я бы хотел, чтобы все мои клиенты проходили аутентификацию у брокеров через SASL. Меня не волнует Кафка<->зоопарк. Причина в т…
11 июл '17 в 13:29
1
ответ
Параллельное исключение для KafkaConsumer не является безопасным для многопоточного доступа
Мы вызываем работу SparkSQL из потоковой передачи Spark. Мы получаем параллельное исключение, и потребитель Kafka закрывается из-за ошибки. Вот код и детали исключения: Потребительский код Кафки // Start reading messages from Kafka and get DStream f…
15 июл '17 в 07:53
1
ответ
Интеграция Spark Kafka с использованием приемника с WAL
Я читал ниже блог в Databricks https://databricks.com/blog/2015/03/30/improvements-to-kafka-integration-of-spark-streaming.html Объясняя процесс, как работает интеграция spark kafka с использованием приемника с WAl, он говорит 1. Данные Кафки непрер…
30 июн '17 в 12:53
1
ответ
pyspark поддерживает lib-streaming-kafka-0-10 lib?
Моя версия кластера kafka - 0.10.0.0, и я хочу использовать поток pyspark для чтения данных kafka. но в Руководстве по интеграции Spark Streaming + Kafka, http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html нет примера кода на …
05 авг '17 в 12:53
0
ответов
Как определить лучший коэффициент репликации и количество разделов?
Я получаю ошибку partition 0 does not have a leader когда я пытаюсь использовать сообщения из очереди Кафки в Spark. Напротив, по какой-то причине я могу написать в той же теме без каких-либо проблем от Spark. Я сделал несколько тестов из консоли: /…
06 фев '17 в 20:36