Описание тега kafka-directconsumer
1
ответ
Включение SSL между Apache spark и Kafka broker
Я пытаюсь включить SSL между моим Apache Spark 1.4.1 и Kafka 0.9.0.0, и я использую spark-streaming-kafka_2.10 Баночка для подключения к Кафке и я использую KafkaUtils.createDirectStream Способ чтения данных из темы Кафки. Первоначально у меня возни…
25 окт '16 в 02:02
0
ответов
Создание потребителя Kafka не выдает никакой ошибки, даже если упомянутый в конфигурации брокер не существует
bool TestKafka::testKafkaConsumer() { std::string errstr; test_conf=RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL); //Set the kafka broker if(test_conf->set("metadata.broker.list","randomname",errstr) !=RdKafKa::Conf::CONF_OK) { logging::error…
30 ноя '17 в 19:52
0
ответов
py4j.protocol.Py4JNetworkError: Ошибка при получении и отправке Spark Streaming с Kafka использует Direct Streaming
Я работаю над Spark Streaming с Кафкой. Вот мой код файла: TwitterSparkStream_1.py: import sys from pyspark import SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.kafka import KafkaUtils def stream(ssc, topic): kst…
16 июл '18 в 19:07
0
ответов
Размер пакетного ввода API Kafka Direct
Согласно API Kafka Direct количество входных записей рассчитывается как maxInputSize = maxRatePerPartition * #numOfPartitions# * #BATCH_DURATION_SECONDS# Я действительно не смог понять, почему размер ввода определяется следующим образом. Предположим…
31 авг '17 в 08:41
1
ответ
Эквивалентное свойство `num.consumer.fetchers` для нового потребителя кафки
В старых потребительских конфигах Кафки есть свойство num.consumer.fetchers для того, чтобы настроить потоки средства выбора номера, используемые для извлечения данных. В новых потребительских конфигах Кафки есть ли свойство с такой же функцией? И е…
19 янв '17 в 01:24
2
ответа
Разница между Кафкой и Кафкой Директ?
Есть ли разница между Кафкой и Кафкой прямой? Если таковые имеются, когда один должен использоваться вместо другого, и каковы будут преимущества?
08 авг '17 в 06:50
0
ответов
Таблица дельты как источник потока. Как рассчитать потребительское отставание
Я использую структурированную потоковую передачу apace spark для потоковой передачи данных из дельта-таблицы. Проблема в том, что я не вижу отставания потребителей. Как мы можем рассчитать отставание потребителей? Я также бросил файлы контрольных то…
01 июл '20 в 10:37