Описание тега flink-cep
FlinkCEP - комплексная обработка событий для Apache Flink
1
ответ
Flink Streaming AWS S3 читает несколько файлов параллельно
Я новичок во Flink, мое понимание следующее вызов API StreamExecutionEnvironment.getExecutionEnvironment().readFile(format, path) будет читать файлы параллельно для заданного пути S3. Мы храним файлы журналов в S3. Требуется обслуживать несколько кл…
18 июл '17 в 11:09
1
ответ
Можно ли обрабатывать несколько потоков в Apache Flink CEP?
Мой вопрос заключается в том, что, если у нас есть два необработанных потока событий, например, Smoke и Temperature, и мы хотим выяснить, произошло ли сложное событие, т.е. пожар, применяя операторы к необработанным потокам, можем ли мы сделать это …
28 июл '17 в 17:15
1
ответ
Flink: как обрабатывать изменения конфигурации внешнего приложения в Flink
Мое требование - потоковая передача миллионов записей в день, и это сильно зависит от параметров внешней конфигурации. Например, пользователь может в любой момент изменить требуемый параметр в веб-приложении, и после внесения изменений должна произо…
26 сен '16 в 02:33
1
ответ
Flink Kafka Consumer генерирует исключение нулевого указателя при использовании ключа DataStream
Я использую этот пример Flink CEP, где я разделяю данные, так как я создал одно приложение, которое отправляет приложение в Kafka, а другое приложение читает из Kafka... Я сгенерировал производителя для класса TemperatureWarning, т.е. в Kafka, я отп…
01 июн '16 в 12:36
2
ответа
Почему одни и те же события PatternStream могут быть отправлены как в PatternSelectFunction, так и в PatternTimeoutFunction?
Я должен собрать 3 события в 3 потоках из Кафки, имеющих одинаковый корреляционный идентификатор в данный момент времени, и быть в состоянии собрать все или часть этих событий, если они прибудут поздно. Я использовал объединение на 3 DataStream и ша…
07 авг '17 в 09:22
0
ответов
Apache Flink: условия в шаблонах CEP
Я новичок в Apache Flink и в библиотеке CEP. У меня есть два (или более) шаблона, которые используют данные из разных источников. Если два шаблона имеют совпадающие события, я хочу отправить и предупредить, но порядок соответствия не имеет значения,…
24 авг '18 в 18:39
1
ответ
flink SourceFunction<> заменяется в StreamExecutionEnvironment.addSource()?
Я столкнулся с этой проблемой, когда пытался создать собственный источник события. Который содержит очередь, которая позволяет моему другому процессу добавлять элементы в нее. Затем ожидайте, что мой шаблон CEP будет печатать некоторые сообщения отл…
14 авг '18 в 06:36
1
ответ
Flink CEP: Как проверить, не появилось ли следующее событие в заданном временном окне?
Я пытаюсь выяснить, как реализовать следующую логику, имеющую поток событий: Первое событие появляется в заданном временном окне (30 с) Второе событие, связанное с первым (некоторым свойством) , не появилось в данном временном окне Создать новое соб…
20 янв '17 в 15:28
0
ответов
Apache Flink: объединение шаблонов CEP
Есть ли способ объединить шаблоны CEP? Пример: Pattern s1 = Pattern .begin("s1_start").where(startcondition1) .followedBy("s1_end").where(endcondition1) ) Pattern s2 = Pattern .begin("s2_start").where(startcondition2) .followedBy("s2_end").where(end…
11 апр '18 в 15:38
1
ответ
Простой пример Scala API для CEP не показывает вывод
Я программирую простой пример для тестирования нового Scala API для CEP во Flink, используя последнюю версию Github для 1.1-SNAPSHOT. Шаблон является только проверкой значения и выводит одну строку в качестве результата для каждого сопоставленного ш…
25 май '16 в 11:07
1
ответ
Flink CEP Streaming: пакетный режим, непрерывный или микро-пакетный?
Я пытаюсь понять этот пример Flink CEP https://github.com/tillrohrmann/cep-monitoring Я выполнил этот пример Flink CEP в распределенном режиме (1 мастер и 3 ядра). Теперь я записываю вывод в файлы, поэтому мой вывод записывается в 3 файла из-за 3 яд…
27 май '16 в 10:43
0
ответов
Apache Flink фильтрация по CSV-файлу
Я пытаюсь использовать потоковую передачу Apache Flink и у меня возникла проблема. У меня есть CSV-файлы, контент вроде: Привет; Мир; вы; являются;; Лучший; И каждый файл 300-600 мб. И все, что мне нужно, это фильтрация моих событий. Если заголовок …
08 ноя '17 в 13:27
1
ответ
Как настроить Flink для использования Hdfs для состояния бэкенда и контрольных точек
У меня есть настройки с Flink v1.2, 3 JobManager, 2 TaskManager. Я хочу использовать hdfs для состояния бэкэнда и контрольных точек и zookeeper storageDir state.backend: файловая система state.backend.fs.checkpointdir: hdfs:///[ip: порт]/ контрольны…
22 мар '17 в 18:02
1
ответ
Flink CEP и порядок событий
Я новичок в Flink и Flink CEP. При работе с Event Time, Flink CEP выполняет итерацию событий для проверки шаблонов в порядке возрастания времени (события) или нет? Заранее спасибо!
27 фев '19 в 16:47
1
ответ
Объединение более 2-х потоков во Flink и применение CEP к более чем 2-м потокам без объединения
Вопрос № 1: Я работаю над ситуационным сценарием, в котором нам нужно объединить данные от нескольких датчиков (например, 8 датчиков) и объединить их в виде дерева. Например, объединение [s1,s2,s3 s4] для формирования потока A, а затем [s5,s6,s7 и s…
29 окт '17 в 11:51
2
ответа
Flink S3 Hadoop 2.8.0
Мы пытались использовать S3 для состояния и контрольных точек Flink и использовали бакет во Франкфурте (аутентификация V4). Он выдал ошибку, которую я разместил здесь ( Невозможно получить доступ к S3, с помощью Hadoop), и это произошло из-за hadoop…
27 мар '17 в 14:45
1
ответ
Flink Таблица SQL Api
Я хочу знать, можем ли мы написать запрос, используя две таблицы (объединение) в Flink Table и SQL API. Я новичок в flik, я хочу создать две таблицы из двух разных наборов данных и запросить их и создать другой набор данных. мой запрос будет похож s…
02 июн '17 в 14:04
2
ответа
Использование сопоставления с образцом flink-cep без всякой среды Flink
Как и в заголовке: возможно ли использовать только сопоставление с образцом мерцания без всякой другой среды мерцания?
25 авг '17 в 10:04
0
ответов
Flink: синхронизировать / соединить два потока
У меня есть два потока, первый, с библиотекой CEP, он использует ее для определения паттернов ON-OFF. Во втором потоке находятся значения, которые я должен добавить. Я ищу способ соединения двух потоков, чтобы при получении кадра OFF я возвращал изм…
28 июн '16 в 10:36
1
ответ
Существует ли учебник по машинному обучению Apache Flink на языке Java?
Я нахожусь в поиске учебника, который скажет нам настроить базовое машинное обучение Apache Flink. Текущий доступный материал на языке скала.
18 май '17 в 06:11