Струйный конвейер Hazelcast, созданный в приложении с множеством проблем, вызывающих проблемы
У меня есть приложение, в котором я создал экземпляр Jet и конвейерное задание для агрегирования результатов потоковых данных. Я запускаю несколько экземпляров такого приложения. Проблема, с которой я сталкиваюсь, состоит в том, что, поскольку есть 2 установки, она выполняет 2 конвейерных задания, и, следовательно, результат вычисляется дважды и неверно, но выясняет, что оба экземпляра Jet являются частью одного кластера.
Разве струйный конвейер не проверяет работу конвейера, и если он такой же, то просто рассматривает его как тот же, что и поток Кафки, делает это с его топологией?
1 ответ
Подача работ в Jet 0.7 распространяется на весь кластер. Если вы отправите один и тот же конвейер / группу доступности базы данных дважды, задание будет выполнено дважды.
Предстоящая версия добавляет newJobIfAbsent() Метод: если задание имеет имя, оно будет отправлять только задание, если нет активного задания с таким же именем. Если уже есть работа с таким же именем, она вернется Job справиться с уже существующей работой.