Описание тега streaming-analytics
2
ответа
Stream Analytics - обработка JSON без имени массива
IoT Edge v2 с модулем Modbus отправляет данные в IoT Hub в формате: [ { "DisplayName": "Voltage", "HwId": "", "Address": "400001", "Value": "200", "SourceTimestamp": "2019-01-03 23:40:24" }, { "DisplayName": "Voltage", "HwId": "", "Address": "400002…
04 янв '19 в 00:56
1
ответ
Пример данных - потоковая аналитика
Я хочу сделать небольшой POC или проект по HANA Streaming Analytics. Может кто-нибудь предложить мне, где я могу получить образцы данных, чтобы продолжить или начать? С Уважением, Vinaya
27 июн '18 в 15:00
0
ответов
Механизм правил на Azure
Я новичок в Azure и пытаюсь понять механизм правил потоковой аналитики. Не могли бы вы помочь мне понять следующее. 1) Реализация формата JSON для определения сложных правил 2) Реализация формата JSON для процессов / правил временных рядов 3) Реализ…
14 ноя '18 в 12:30
1
ответ
U-sql: Как обработать файл Avro с несколькими массивами JSON с несколькими объектами?
Я получаю файл Avro в своем хранилище озера данных через потоковую аналитику и концентратор событий с помощью захвата. Структура файла выглядит следующим образом: [{ "ID": 1, "PID": "ABC", "значение":"1","utctimestamp":1537805867},{"идентификатор":6…
24 сен '18 в 12:51
0
ответов
Как создать выходной путь для задания Streaming Analytics на основе содержимого данных?
В частности, я имею в виду, что я получаю данные с такими атрибутами, как Product Id и SerialNumber, и я хочу, чтобы выходной путь к озеру данных и экземпляру Cosmos Db выглядел следующим образом: /{Date}/{ProductId}/Serialnumber.json Так что в коне…
02 мар '18 в 18:07
0
ответов
Выполнение потокового проекта с использованием как входного, так и выходного адаптера
Поскольку я новичок в HANA Streaming, пытался выполнить нижеприведенный сценарий. Но я не получаю требуемый вывод, данные из ввода HANA не заполняются во входной поток. Есть ли какой-то конкретный метод, которым нужно следовать для выполнения проект…
12 июн '18 в 13:20
1
ответ
Как написать запрос для извлечения всех значений поля вместе с условиями, удовлетворяющими значениям в KSQL
Создан поток со следующим полем CREATE STREAM pageviews_original_string(view_time string, user_id varchar, pageid varchar) WITH (kafka_topic='pageviews',value_format='DELIMITED',KEY='pageid'); Изменен идентификатор страницы в верхний регистр вместе …
07 дек '18 в 05:24
1
ответ
Преобразование строки в проблему с двойной или плавающей точкой в потоковом процессоре WSO2
У меня есть файл CSV, который я хочу загрузить в потоковый процессор WS02 для имитации событий. У меня есть столбец с названием "Результат". Это строковый столбец в файле CSV. В потоковом процессоре WSO2 я попытался преобразовать входящую строку Res…
10 окт '19 в 12:07
2
ответа
Возможно ли получение потребителя из темы Azure EventHub из Apache Beam / Google Cloud Dataflow?
Проблема Мы хотели бы использовать тему EventHub в Azure с помощью конвейера потока данных в Google Cloud. Вопрос Известно ли, позволяет ли KafkaIO использовать данные из EventHubs непосредственно в задании потока данных Apache Beam/Google Cloud? (с…
09 янв '20 в 18:01
1
ответ
Доступ к хранилищу состояний каждого ключа в Apache Flink, которое динамически изменяется
У меня есть поток сообщений с разными ключами. Для каждого ключа я хочу создать окно сеанса времени события и выполнить некоторую обработку, только если: MIN_EVENTS количество событий, накопленных в окне (по сути, состояние с ключом) Для каждого клю…
03 фев '20 в 09:59
1
ответ
Обнаружить конец окна сеанса времени события (Apache Flink Java)
Предполагая, что все события прибывают вовремя и не допускаются задержки, как мне выполнить некоторую обработку только после того, как окно сеанса закончилось? Т.е. водяной знак прошел (lastEventInWindowTimestamp + inactivityGap). Я не смог найти ни…
14 фев '20 в 14:09
0
ответов
Pyspark эффективно выбирает несколько упорядоченных потоков данных в один RDD
Я переделываю конвейер прогнозирования в реальном времени для потоковой передачи данных датчиков Интернета вещей. Конвейер принимает образцы данных датчиков, структурированные как(sensor_id, timestamp, sample_index, value) поскольку они создаются в …
11 фев '20 в 20:32
1
ответ
Прочтите CSV-файл с 3 столбцами в Datastream. JAVA Apache Flink
Я какое-то время боролся с настройкой приложения flink, которое создает Datastream<Tuple3<Integer, java.sql.Time, Double>>из файла csv. Столбцы в этом файле (столбцыID, dateTime and Result) - это все String, но они должны быть преобразов…
14 окт '19 в 17:50
1
ответ
Сравните пакеты средних значений друг с другом в потоковом процессоре WSO2
Я написал код на Siddhi, который регистрирует / печатает среднее значение пакета из последних 100 событий. Итак, среднее значение для событий 0-100, 101-200 и т.д. Теперь я хочу сравнить эти средние значения друг с другом, чтобы найти какой-то тренд…
11 окт '19 в 13:46
1
ответ
Назначение ролей Azure для управляемой идентификации для задания потоковой передачи
У меня есть концентратор событий EH1 в «Sub1» и потоковая работа ASA1 в «Sub2». EH1 - это потоковый вход для ASA1. Для дополнительной безопасности я планирую использовать управляемую идентификацию для доступа к концентратору событий из задания Strea…
03 июн '21 в 13:51
2
ответа
API потоковой передачи данных — высокая доступность
В моей архитектуре на AWS у меня есть сервис, работающий на экземпляре EC2, который вызывает API потоковой передачи Twitter для приема данных, т. е. приема твитов в реальном времени. Я называю этот сервис TwitterClient. Twitter API использует своего…
08 янв '21 в 13:27
0
ответов
Flink читает отсортированные события, но сортировка не сохраняется после разделения
Использование ФлинкаRichSourceFunctionЯ читаю файл, в котором события отсортированы по полю метки времени. Файл очень большой по размеру, 500Гб. Я читаю этот файл последовательно, используя только одно разделение (TimeStampedFileSplit) для всего фай…
11 апр '23 в 21:17