Описание тега ksqldb
NoneKsqlDB: база данных потоковой передачи событий для Apache Kafka.
3
ответа
Подсчет всех записей с KSQL
Можно ли использовать KSQL не только для подсчета записей определенного столбца через GROUP BY но вместо этого получить совокупность по всем записям, которые проходят через приложение? Я ищу что-то вроде этого: | Count all | Count id1 | count id2 | …
14 ноя '17 в 18:52
0
ответов
Проблемы, связанные с использованием таблицы Kafka KSQL AVRO в качестве источника для KDK Kinkka Connect JDBC Sink
Я боролся с этим уже около недели, пытаясь получить простую (3 поля) отформатированную AVRO таблицу KSQL в качестве источника для приемника коннектора JDBC (mysql) Я получаю следующие ошибки (после строки INFO): [2018-12-11 18:58:50,678] INFO Settin…
11 дек '18 в 19:31
0
ответов
KTABLE не обнаруживает те же ключи. (Вставляет запись вместо обновления)
Случай использования Цель состоит в том, чтобы идентифицировать входящие события / строки, чтобы проверить, является ли это новой строкой или обновлением. Новая строка перейдет к другой теме, а строка обновления перейдет к другой теме. Подход: созд…
22 дек '18 в 01:36
1
ответ
Как запустить KSQL из весеннего загрузочного приложения?
У меня есть приложение весенней загрузки, которое подключено к кластеру kafka. Как я могу запустить KSQL из кода Java?
09 янв '19 в 01:48
0
ответов
Как сохранить ТОЛЬКО последнее окно в KSQL?
Я хочу отслеживать количество событий, произошедших за последние 30 дней. Итак, я использовал HOPPING WINDOW (размер 30 дней, продвинутый на 1 день) в KSQL, но он будет генерировать всего 30 окон для каждого элемента группы, как я могу написать скри…
17 янв '19 в 07:55
1
ответ
Как запустить ksql в windows?
Как запустить ksql в среде Windows? мы установили сливную кафку в формате zip. мы не нашли файл ksql-server-start.bat в каталоге confluent-home / bin / windows, но мы обнаружили файл с таким же именем в каталоге confluent-home / bin /, который не яв…
30 янв '19 в 07:41
0
ответов
Замените объект json другим в потоковом режиме kafka
Я работаю над потоками Кафки. Я сталкиваюсь со следующими проблемами: Подробности о том, что я сделал до сих пор: Я создал ниже темы, поток и таблицы: ./kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic b…
11 июн '18 в 19:53
0
ответов
Как сравнить (1 миллиард записей) данных между двумя потоками кафки или таблицами базы данных
Мы отправляем данные из DB2 (таблица-1) через CDC в разделы Kafka (раздел-1). нам нужно согласовать данные DB2 и темы Kafka. у нас есть два варианта - а) перенести все данные темы кафки в DB2 (как таблица-1-копия), а затем выполнить внешнее левое со…
01 сен '18 в 15:32
1
ответ
KSQL EXTRACTJSONFIELD пробел в имени ключа
У меня проблема с пробелами в именах при использовании EXTRACTJSONFIELD в KSQL. Например: SELECT EXTRACTJSONFIELD(payload, '$.Successful Login') FROM MYSTREAM; - это всегда возвращает NULL Как мне обрабатывать пробелы в именах ключей? Я пытался: EXT…
11 июн '18 в 21:51
0
ответов
Можно ли добиться "отложенного выполнения" с KSQL?
реализовать KSQL UDF "NOW()" создать поток my_notification_stream как select * из my_event_stream, где происходит Time + threshold прослушивание темы my_notification_stream
18 июн '18 в 07:06
0
ответов
Как вывести / отобразить самые последние данные в потоке ksql?
Я создал поток ksql, используя CREATE STREAM basic_streams (data VARCHAR) \ WITH (KAFKA_TOPIC='main-topic',VALUE_FORMAT='JSON'); У меня работает продюсер, качающий данные в поток. Можно ли перечислить / показать самые последние элементы, отправленны…
27 июл '18 в 15:13
1
ответ
ksql-сервер отказывается загружаться
Я столкнулся со следующей проблемой при использовании платформы Confluent Open Source версии 4.1.0: [2018-05-01 03:43:33,433] ERROR Failed to initialize TopicClient: org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assig…
17 май '18 в 08:09
1
ответ
KSQL Hopping Window: доступ только к самому старому подокну
Я отслеживаю скользящую сумму определенного поля с помощью запроса, который выглядит примерно так: SELECT id, SUM(quantity) AS quantity from stream \ WINDOW HOPPING (SIZE 1 MINUTE, ADVANCE BY 10 SECONDS) \ GROUP BY id; Теперь, по-видимому, для каждо…
10 авг '18 в 22:10
0
ответов
KSQL REST API не требует времени для ответа
Я столкнулся с проблемой при вызове конечной точки KSQL Rest для выполнения запроса, мой запрос: выберите * из потока 1, где = 123 предел 3; Я отправляю его в теле почтового запроса следующим образом: {"ksql": "SELECT * FROM stream1, где id = 3 LIMI…
08 ноя '18 в 12:44
0
ответов
Присоединение схемы JSON к записям потока KSQL
Я использую KSQL, и до сих пор он работал отлично. Но теперь я хотел бы передать вывод в BigQuery через Kafka Connect, и мне нужно присоединить схему JSON. У меня проблемы с выяснением, как это сделать. Вот мой запрос: CREATE STREAM tweets_original …
23 авг '18 в 17:43
0
ответов
KSQL Streams and Tables не сохраняет данные
Я создаю одну тему kafka и создаю поток KSQL по этой теме, и я создаю таблицу в потоке для выполнения агрегации, после перезапуска KSQL Server и Kafka все потоки и таблицы KSQL исчезли! Есть ли способ настроить KSQL Server для хранения потоков и таб…
07 ноя '18 в 18:01
0
ответов
KSQL не удалось создать поток из темы
Иметь имя темы json "customer-event" и пытается создать поток из приведенного ниже KSQL: create stream cssc_customer_event_json (description varchar,pageEvent_id varchar)with (kafka_topic='customer-event', value_format='json'); возвращаемое ниже соо…
24 янв '19 в 07:29
0
ответов
Ksql, GROUP BY возвращает ServerError:java.lang.NullPointerException
Я использую confluent 4.1.1, я пробовал несколько агрегатных команд, но всегда возвращал NPE с GROUP BY: ksql> select cust_id, count(*) as sum_sub from TBL_SUBSCRIBER GROUP BY cust_id; ServerError:java.lang.NullPointerException ksql> ksql> …
08 июн '18 в 02:38
1
ответ
Как удалить таблицу или поток в KSQL, когда тема была удалена первой
Использование KSQL (Confluent: Version: 5.0.1) Я могу нормально отбрасывать таблицу / поток (используя DROP [TABLE|STREAM]) <NAME> когда связанная тема существует и когда она зарегистрирована (Registered=true). Однако, если тема удалена первой…
11 дек '18 в 17:16
0
ответов
Кафка разница во времени последние две записи, KSQL или другие?
Поэтому я оцениваю Кафку. В нашем случае использования пришлось бы создавать новые темы, содержащие "прошедшее время" от одного события к другому, по существу, так как датчик будет сообщать как "включен" или "выключен" в Kafka. Таким образом, имея м…
15 фев '19 в 16:52