Описание тега stream-processing

Вопросы с тегом
1 ответ

Apache Flink внешний вызов API

Можно ли вызвать внешний API (RESTful) внутри кода Apache Flink. Если это возможно, то как мы можем это сделать. Я вызываю API из простого Java-кода, он работает нормально, но когда я использую тот же код в Apache Flink, он выдает исключение: java.i…
27 апр '18 в 09:23
1 ответ

Apache Apex против Apache Flink

Так как обе являются потоковыми средами, которые обрабатывают события одновременно, каковы основные архитектурные различия между этими двумя технологиями / потоковой средой? Кроме того, каковы некоторые конкретные случаи использования, когда один яв…
24 авг '17 в 12:40
0 ответов

Как заполнить временные окна без данных в аналитике Kinesis

Есть ли способ запустить анализ кинезиса, когда нет данных, поступающих в поток? Как периодический прогон, несмотря на наличие данных или нет? У меня есть поток данных от датчика, который выглядит следующим образом: [ { "timestamp": "2011/09/01 22:3…
06 ноя '17 в 20:47
0 ответов

Kafka Streams: сбросить таймер окна при поступлении нового сообщения

Моя тема Kafka содержит сообщения с полем id. Я хочу агрегировать сообщения по этому идентификатору, используя временное окно, которое должно быть сдвинуто при появлении дубликата. Пример: Я получил сообщение с id = 94, Я хочу дождаться следующего с…
09 янв '18 в 01:17
1 ответ

Как посчитать, сколько "клиентов" находятся в состоянии с распределенным миганием на основе событий изменения состояния? Мне нужны объекты с состоянием

Я работаю над проектом POC в Java, используя Kafka -> Flink -> эластичный поиск. На кафке будет производиться непредсказуемое количество событий от 0 до тысяч событий в секунду, например по определенной теме. {"gid":"abcd-8910-2ca4227527f9", "state"…
15 июн '16 в 09:45
2 ответа

Как добавить объект в файл json с помощью JSR 353 (Java API для обработки JSON)

Используя JSR-353 ( https://jsonp.java.net/index.html), я хотел бы открыть файл json и добавить некоторый объект в корневой массив, например: [{"foo":"bar"}] Я хотел бы с кодом примерно так: try(JsonGenerator writer = Json.createGenerator(new FileOu…
28 мар '14 в 23:32
1 ответ

Штормовая группировка по нескольким полям

Что я должен сделать, это сгруппировать поток по двум полям ("remote-client-ip", "request-params") и подсчитать количество кортежей в каждой группе. И объединить их в карту. Вот моя топология: topology.newStream("kafka-spout-stream-1", repeatSpout) …
16 апр '15 в 17:06
0 ответов

Неужели мы без ума от использования node.js для длительного высокопроизводительного серверного процесса с большим объемом памяти?

Я работаю в компании X, на данный момент мы взяли на себя обязательство использовать node.js (с проверкой типов) для большинства бэкэнд-систем по ряду довольно веских причин. Мы находимся в процессе уточнения некоторых довольно сложных и довольно кр…
07 июл '18 в 16:13
1 ответ

Эвристика водяного знака

Насколько точны оценки водяных знаков при обработке потока в пучке Apache или в потоке искры. Мой источник данных - файлы из gcs/s3, но я использую время события, связанное с каждым событием, как метку времени для функции управления окнами. Любые ид…
24 янв '18 в 23:31
1 ответ

Внеочередная обработка в Apache Apex

В документации apache-apex утверждается, что порядок событий в процессорах сохраняется (в зависимости от того, как они генерируются), но означает ли это, что не существует концепции времени-события, которая допускает обработку событий вне очереди? К…
08 апр '16 в 06:09
1 ответ

Как Apache Flink восстанавливает состояние из контрольной точки / точки сохранения?

Мне нужно знать, как Apache Flink восстанавливает свое состояние из контрольной точки, потому что я не вижу никакой разницы между временем запуска и первым событием в операторе при запуске чистых стихов заданий, восстанавливающих из точки сохранения…
01 фев '18 в 11:37
1 ответ

Оператор windowAll во Flink уменьшает масштаб параллелизации до 1?

У меня есть поток во Flink, который отправляет кубы из источника, выполняет преобразование в кубе (добавляя 1 к каждому элементу в кубе), а затем отправляет его в нисходящем направлении для печати пропускной способности каждую секунду. Поток распара…
13 июн '18 в 12:36
1 ответ

Подходы при приеме данных IoT с облачного шлюза

Я хотел бы услышать ваше мнение о случае приема данных IoT. В концентраторе AWS IoT тени вещей являются виртуальным представлением физических. Из приведенного ниже рисунка я понял, что всякий раз, когда объект отправляет данные на платформу через по…
19 июл '17 в 07:35
0 ответов

FlinkKafkaConsumer не обнаруживает новые темы

У меня есть FlinkKafkaConsumer11 с регулярным выражением. Он слушает существующие темы, удовлетворяющие Regex, но вновь созданные темы не обнаруживаются. После перезапуска задания он начинает обнаруживать и эти темы. Я хочу, чтобы он обнаружил все т…
29 сен '18 в 20:04
1 ответ

Может ли Flink производить ежечасные снимки агрегированных / скользящих / накопленных данных?

Пример обработки потока в учебнике - программа подсчета слов с метками времени. Со следующим образцом данных mario 10:00 luigi 10:01 mario 11:00 mario 12:00 Я видел программы подсчета слов, созданные за: Общий набор данных mario 3 luigi 1 Набор разд…
16 дек '18 в 14:29
0 ответов

Потоковый процессор Wso2: Произошла ошибка при обработке eventByteBufferQueue

У меня есть два узла аналитического сервера wso2-am (2.6.0), который является процессорами Wso2 Stream. Я вижу следующую ошибку на пассивном узле кластера. Активный узел в порядке, и я не вижу ошибок. Результат аналитики не влияет на пользователей, …
26 фев '19 в 22:34
1 ответ

Как проверить, была ли отправлена ​​новая запись в данный период времени, используя kafka и faust

Я использую тестовую настройку, включая платформу слияния (докер), и обрабатываю записи со следующей информацией: идентификатор датчика, метка времени, значение. Используя robinhood faust (похожий на Kafka Streams, но в python), я пытаюсь сделать сл…
25 фев '19 в 14:16
1 ответ

Как создать DAG с JSON в Apache Apex?

Я пытался найти документацию для заполнения экземпляра DAG с использованием JSON. Есть ли где-нибудь официальная документация к формату?
07 апр '16 в 21:39
0 ответов

Почему этот простой тест Flink иногда терпит неудачу?

Я уверен, что это должно быть проблемой Flink, потому что протестированный код действительно прост. StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // I don't need this for this particular example, but I use it…
23 дек '17 в 19:53
2 ответа

Как я могу написать собственное преобразование потока в C++?

Я изучаю C++ после того, как много работал с Haskell и функциональными языками в целом, и обнаружил, что постоянно пытаюсь решить одну и ту же проблему: Читать некоторые данные из входного потока Токенизируйте их на основе определенного алгоритма Об…
11 окт '14 в 10:06