Описание тега ksql
KSQL - это потоковый SQL Engine для Apache Kafka.
1
ответ
Как динамически обновить определение потока KSQL на основе схемы реестра
Следуя этому посту, я создал поток KSQL на основе схемы-реестра. Соединитель Kafka JDBC обновляет последнюю схему в реестре схем. Новый поток создается с самой последней схемой, но существующий поток - в самой старой схеме. Я не знаю, когда изменитс…
29 ноя '18 в 13:13
1
ответ
Не может получить данные из таблицы KSQL
Я создаю новый поток CREATE STREAM details_stream_rekeyed2 as \ select CONCAT(IdSeq,IdTime,'') as root,ServerId,Server,\ IdTime ,IdSeq \ from voip_details_stream \ partition by root; выберите из этого потока, и я получу> 100 пунктов тогда я пытаюсь …
13 май '18 в 10:59
3
ответа
Подсчет всех записей с KSQL
Можно ли использовать KSQL не только для подсчета записей определенного столбца через GROUP BY но вместо этого получить совокупность по всем записям, которые проходят через приложение? Я ищу что-то вроде этого: | Count all | Count id1 | count id2 | …
14 ноя '17 в 18:52
1
ответ
Найти последние 5 минут просмотра страниц
У меня есть тема кафки по имени page_views и поток по имени pageviews. Теперь я хочу рассчитать последние 5 минут просмотра страницы. Я использую ksql. Пробовал с SELECT after->pageview_id FROM pageviews WHERE after->pageview_id >= NOW() - …
17 окт '18 в 10:37
2
ответа
Не могу подключиться к внешней теме в KSql
Я очень новичок в Confluent KSql, но не новичок в Kafka. У меня есть существующие темы, которые существуют в Kafka как сериализированные данные Avro. У меня есть Confluent схема-реестр и работает и настроить KSql, чтобы указать на реестр. Когда я пы…
06 авг '18 в 23:09
0
ответов
Обновить поток ksql новой схемой темы
Я пишу авро сообщения в тему кафки, используя схему реестра. Затем создан поток на основе темы. Крик, созданный с использованием текущей схемы. Затем я добавляю новое поле в схему. Регистр схемы обновлен, все нормально, но поток остается с первой ст…
06 сен '18 в 08:28
1
ответ
Удаленное подключение к серверу Ksql
У меня есть сервер ksql, работающий на экземпляре ec2, и я хочу подключиться к нему с моей локальной машины. Тем не менее, он всегда продолжает выдавать следующую ошибку: Error issuing GET to KSQL server Caused by: java.net.ConnectException: Connect…
13 июл '18 в 18:11
1
ответ
Таблица KSQL не показывает данные, но Stream с той же структурой возвращает данные
Я создал таблицу в KSQL, но при запросе он не возвращает никаких данных. Затем я создал поток на ту же тему с той же структурой, и я могу запрашивать данные. Что мне здесь не хватает. Мне нужно это как таблица для объединения с потоком. CREATE TABLE…
01 мар '18 в 19:14
0
ответов
Как вручную вмешаться в состояние KSQL?
Я использовал ksql для вычисления некоторых показателей в реальном времени на основе живых событий. Теперь я хотел добавить новую метрику и хочу использовать ее прямо сейчас. Как рассчитать новое состояние на основе существующего состояния (оно не с…
03 дек '18 в 03:59
1
ответ
Как заставить ksql печатать только последние записи
Я выполняю следующий запрос на ksql. но я хочу только последние 20 записей . SELECT MAX(ROWTIME),TIMESTAMPTOSTRING(ROWTIME, 'yyyy-MM-dd HH:mm:ss'),SERIAL,COUNT FROM MY_STREAM WHERE TIMESTAMPTOSTRING(ROWTIME, 'yyyy-MM-dd HH:mm:ss') >= DATE AND TIM…
06 дек '18 в 11:10
1
ответ
Может ли KSQL/Kafka Streams поддерживать обработку сложных событий?
Я хочу сделать анализ поведения пользователя на события в Кафке. Может ли KSQL/Kafka Streams сейчас поддерживать обработку сложных событий?
06 дек '18 в 13:13
0
ответов
Проблемы, связанные с использованием таблицы Kafka KSQL AVRO в качестве источника для KDK Kinkka Connect JDBC Sink
Я боролся с этим уже около недели, пытаясь получить простую (3 поля) отформатированную AVRO таблицу KSQL в качестве источника для приемника коннектора JDBC (mysql) Я получаю следующие ошибки (после строки INFO): [2018-12-11 18:58:50,678] INFO Settin…
11 дек '18 в 19:31
1
ответ
Kafka Rest API KSQL Query ждет вечно и зависает
Я использую Kafka REST API, выданный из curl POST в ksql. Если я не использую LIMIT20, он зависает. Кроме того, если я использую его для запроса к таблице снова, он зависает. Я запускаю это из скрипта Python. Здесь я запрашиваю промежуточную строку …
12 дек '18 в 06:41
1
ответ
KSQL/KStream - получить смещение в соответствии со временем производства
Я знаю, что используя API-интерфейсы потребителей Kafka, мы можем получить смещение, соответствующее определенной временной метке (getOffsetsByTimes()). Как мы можем получить смещение и начать воспроизведение потоков из точки, основанной на отметке …
12 дек '18 в 18:20
0
ответов
KTABLE не обнаруживает те же ключи. (Вставляет запись вместо обновления)
Случай использования Цель состоит в том, чтобы идентифицировать входящие события / строки, чтобы проверить, является ли это новой строкой или обновлением. Новая строка перейдет к другой теме, а строка обновления перейдет к другой теме. Подход: созд…
22 дек '18 в 01:36
1
ответ
Боковой обзор и оператор CASE в KSQL
Есть ли в KSQL оператор LATERAL VIEW, который я не могу найти в документации? Или есть какой-нибудь альтернативный Comand для получения того же результата в столбце? Когда я использую заявление, я получаю следующую ошибку line 1:64: mismatched input…
01 янв '19 в 17:47
1
ответ
Как запустить KSQL из весеннего загрузочного приложения?
У меня есть приложение весенней загрузки, которое подключено к кластеру kafka. Как я могу запустить KSQL из кода Java?
09 янв '19 в 01:48
0
ответов
Проблема с соединителем источника JDBC Oracle
У нас есть Oracle Source, оттуда нужно получать данные, сталкивающиеся с ошибками в формате Avro и Json. Файл соединителя { "name": "LITERAL_VALUES", "config": { "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector", "key.serializer": "…
09 янв '19 в 09:17
1
ответ
Оператор ksql для извлечения сообщения с разделителями-запятыми в его собственные поля
У меня есть объект JSON, который имеет меньше полей. { "@timestamp": "2019-01-14T14:34:47.617Z", "message": "20190114T063447-0800,dm-2,SSD2T-backarea,1.99,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00", "node": "hostnameA", } что …
14 янв '19 в 18:29
0
ответов
Как сохранить ТОЛЬКО последнее окно в KSQL?
Я хочу отслеживать количество событий, произошедших за последние 30 дней. Итак, я использовал HOPPING WINDOW (размер 30 дней, продвинутый на 1 день) в KSQL, но он будет генерировать всего 30 окон для каждого элемента группы, как я могу написать скри…
17 янв '19 в 07:55