Описание тега hazelcast-jet
Hazelcast Jet - это распределенная вычислительная платформа для потоковой и пакетной обработки с малой задержкой. Он выигрывает от интеграции с Hazelcast IMDG, обеспечивая быструю, масштабируемую обработку больших данных, легкую и встраиваемую.
1
ответ
Возможно ли, что Sources.mapJournal() работает медленно для частого обновления IMap?
Я пытаюсь эмулировать рисование потока из Sources.mapJournal через IMap, который получает данные с устройства IoT. Обработка этого потока слишком медленная, и я получаю большой накопленный результат через 30-60 секунд. Когда я начал часто обновлять …
17 янв '19 в 11:14
1
ответ
Hazelcast Jet 0.6.1 - Ошибка компиляции с помощью Pipeline customTransform API
Я получаю следующую ошибку компиляции с конвейером customTransform API. Вот пример кода для построения конвейера: private Pipeline buildPipeline2() { Pipeline p = Pipeline.create(); p.drawFrom(Sources.<String, CacheEntry<AuditLogRecord>>…
20 июн '18 в 11:57
1
ответ
Используйте Hazelcast IMap на процессоре Hazelcast Jet
Я только начинаю изучать Hazelcast Jet. Мой источник - UDP датаграммы. Я хочу обрабатывать его параллельно на некоторых узлах Jet и пересылать их по другим адресам по "домену". Я хочу использовать Hazelcast IMDG IMap с загрузчиком, чтобы получить "д…
24 июл '17 в 09:19
2
ответа
Отправить работу в удаленный кластер Hazelcast
Я новичок в Hazelcast Jet и у меня очень простой вопрос. У меня настроен 3-х узловый кластер JET. У меня есть пример кода для чтения из Кафки и слив в IMap. Когда я запускаю его из командной строки (используя jet-submit.sh и использовать JetBootstra…
03 июл '18 в 17:12
1
ответ
Как запрограммировать источник реактивного потока, который получает данные асинхронно
Я просматривал документацию на hazelcast-jet, чтобы найти ссылки на источники, которые асинхронно заполняются каким-то внешним процессом - в моем случае это были бы сообщения http. Я посмотрел на код Кафки, так как он кажется самым близким, но не мо…
24 сен '18 в 01:31
1
ответ
Hazelcast Jet отбрасывает пустые результаты агрегации
У меня есть скользящее окно и специальный накопитель, который может иметь пустые результаты. Что было бы правильным способом избежать попадания таких "пустых" аккумуляторов агрегации в сток? Pipeline pipeline = Pipeline.create(); pipeline.drawFrom(S…
25 апр '18 в 02:41
1
ответ
Hazelcast Jet Непрерывное удаление снимков
После запуска распределенных потоков, похоже, что эти снимки не удаляются из мониторинга или что-то еще. Они просто продолжают регистрироваться каждые 5 секунд, даже если работа была завершена. Пожалуйста, сообщите, если что-то нужно относительно ре…
14 дек '17 в 21:30
1
ответ
Пользовательская оболочка журнала
Я пытаюсь создать пользовательскую оболочку для записи времени выполнения, потраченного на обработку каждого сообщения, выполняемого каждым процессором вершин. Используя в качестве вдохновения DiagnosticProcessors.peekInputP/peekOutputP и processor.…
18 фев '18 в 12:34
1
ответ
Как убедиться, что кортежи с одинаковым ключом обрабатываются по порядку
Я сделал работу с Hazelcast Jet, который преобразует поток измерений IoT в поток сигналов тревоги. Таким образом, всякий раз, когда уровень влажности одного датчика превышает пороговое значение, возникает аварийный сигнал. Когда он снова падает ниже…
08 янв '19 в 18:28
1
ответ
Агрегировать непрерывный поток чисел из файла, используя Hazelcast Jet
Я пытаюсь суммировать непрерывный поток чисел из файла, используя Hazelcast Jet pipe .drawFrom(Sources.fileWatcher)<dir>)) .map(s->Integer.parseInt(s)) .addTimestamps() .window(WindowDefinition.sliding(10000,1000)) .aggregate(AggregateOpera…
22 янв '19 в 14:12
1
ответ
Слив Hazelcast-Jet с проблемой синтаксиса
Я пытаюсь объединить данные с помощью Jet, источник и сток - тема Кафки, требуется взять сообщения GPB (google proto buf) из источника и опубликовать сообщения GPB. Проблема в том, что я могу опубликовать Double но не сообщение GPB, и это дает мне о…
30 янв '19 в 13:50
1
ответ
Быстрое и масштабируемое приложение в реальном времени (Является ли Hazelcast Jet хорошим способом?)
Фактически, в нашей архитектуре мы используем Hazelcast IMDG, чтобы делиться информацией о пользовательских действиях между несколькими узлами сервера. Наша карта имеет следующую структуру: [key:String|value: CustomObject], Теперь мы хотим расширить…
13 фев '19 в 18:15
1
ответ
Струйный конвейер Hazelcast, созданный в приложении с множеством проблем, вызывающих проблемы
У меня есть приложение, в котором я создал экземпляр Jet и конвейерное задание для агрегирования результатов потоковых данных. Я запускаю несколько экземпляров такого приложения. Проблема, с которой я сталкиваюсь, состоит в том, что, поскольку есть …
24 янв '19 в 15:43
1
ответ
Как открыть tcp-сокет и обработать непрерывную информацию, полученную через него в Hazelcast Jet
Я пытаюсь проанализировать данные датчика с помощью Hazelcast Jet. Для этого мне нужно открыть Tcp-сокет и обработать информацию, полученную через него.
13 июл '17 в 11:13
0
ответов
Hazelcast jet 0.6.1 Определение конвейера и DAG
У меня есть пример кода для построения конвейера. private Pipeline buildPipeline() { logger.debug("AbstractAuditLogProcessor.buildPipeline method start"); Pipeline p = Pipeline.create(); p.drawFrom(Sources.<String, CacheEntry<AuditLogRecord>…
25 июл '18 в 14:54
2
ответа
Hazelcast Jet 0.6.1- Агрегирование по нескольким полям
Текущий пример кода Hazelcast Jet 0.6.1 демонстрирует агрегирование на основе одного поля (например, тикера). Вот ссылка. \ Кодовых образцы \ потокового \ биржевой \ SRC \ главная \ Java\StockExchange.java Как это можно продлить для нескольких тикер…
14 июн '18 в 02:27
0
ответов
com.hazelcast.core.HazelcastException: служба с именем 'hz:impl:jetService' не найдена
Я пытаюсь выполнить пример кода, предоставленного для Hazelcast Jet на https://blog.hazelcast.com/use-hazelcast-jet-stream-data-imap-kafka-topic/ Но его провал за исключением Сервис с именем 'hz:impl:jetService' не найден! Вот мой след стека для тог…
07 мар '18 в 09:01
1
ответ
Удалить задание JetInstance
Есть ли способ, как я могу удалить не выполняющиеся задания из моего hazelcastInstance? У меня есть поток из jetInstance.getJobs() и мне нужно вернуться Map<String, Object>где ключ это название работы. Но это невозможно, поскольку я уже остано…
10 июл '18 в 14:33
1
ответ
Hazelcast Jet раздвижная оконная единица измерения
Извините за, может быть, глупый вопрос, но из документов неясно, какова единица измерения для скользящего окна? Это миллисекунды, секунды или количество элементов в потоке? Я заметил, что операция агрегации давала пустые результаты, и мне пришлось я…
24 июл '18 в 16:04
0
ответов
Исключение при запуске примеров кода Hazelcast-Jet 0.5.1
Я пытаюсь запустить примеры кода Hazelcast jet 0.5.1. Я получаю следующее исключение при запуске примеров кода Hazelcast: \ streaming \ map-journal-source \ src \ main \ java \ MapJournalSource.java & \ streaming \ map-journal-source \ src \ main \ …
26 мар '18 в 05:10