Описание тега apache-storm-flux

Вопросы с тегом
Apache Storm - это вычислительная система с открытым исходным кодом, которая позволяет обрабатывать потоки данных в реальном времени надежным и распределенным способом.
0 ответов

Развертывание штормовой топологии в разных кластерах с помощью Flux

Я использую Flux для развертывания моих топологий в удаленном кластере. Есть ли способ пройти nimbus.seeds через командную строку, чтобы я мог развернуть мои топологии в разных кластерах с помощью Flux. Я использую эту ссылку здесь для развертываний…
30 июл '18 в 10:52
1 ответ

Как настроить общие параметры в Storm Flux

Я новичок в Storm Flux, и теперь растерялся из-за того, как настроить общие параметры в Storm Flux. Например, org.apache.storm.kafka.spourt.KafkaSpout определяется следующим образом: public class KafkaSpout<K, V> extends BaseRichSpout { .... }…
29 май '18 в 04:26
1 ответ

Исключение переводчика Apache Storm Flux Kafka Spout Record

Я использую шторм Flux 1.2.2 для развертывания топологии. Я передаю переводчик записей в KafkaSpoutConfig (по ссылке -> https://github.com/apache/storm/blob/master/flux/flux-examples/src/main/resources/kafka_spout.yaml), но получаю следующее исключе…
06 сен '18 в 06:51
1 ответ

Clojure Storm Flux

Я недавно начал работать с Apache Storm. Я использую Storm с Clojure Storm DSL и Leiningen. Существует очень классный инструмент для управления топологией штормов: Storm Flux. Мой вопрос: как я могу использовать flux, когда кодирую в шторм с clojure?
23 май '16 в 11:57
1 ответ

Внедрить внешние свойства для Apache Storm Flux

Я использую Flux 1.0.0 и переписал свою топологию в файл YAML. Но у меня есть некоторые свойства, которые раньше были частью конфигурации, с которой я использовал драйвер Storm для работы. storm.Driver --config myConfig/config.conf Теперь с помощью …
26 сен '16 в 12:24
1 ответ

Топология Storm UI не работает

Мы выполняем топологию Storm в LocalCluster, Топология Storm работает нормально и может подключаться к Storm UI (8090). Но Storm UI не отображает информацию о запущенной топологии. LocalCluster cluster = new LocalCluster(); и представить как: bin/st…
04 май '16 в 16:28
2 ответа

Как отправить несколько носиков в одной топологии в Apache Storm?

Я пытаюсь использовать концепцию параллелизма в Apache-Storm. Я хочу знать, как отправить несколько носиков по одной топологии. Вот мой код для представления одной топологии TwitterTopologyCreator topology = new TwitterTopologyCreator(); topology.cr…
11 май '16 в 10:00
2 ответа

Несколько вызываемых конструкторов в Storm Flux

Я использую Storm Flux (0.10.0) DSL для развертывания следующей топологии (упрощенной, чтобы сохранить только соответствующие ее части): --- name: "my-topology" components: - id: "esConfig" className: "java.util.HashMap" configMethods: - name: "put"…
24 фев '16 в 08:36
0 ответов

Исключение развертывания приложения Apache Storm

Когда я пытаюсь развернуть jar Apache Storm, который я разработал с использованием Flux, я получаю следующую ошибку, введите ссылку здесь Мой файл Flux здесь введите описание ссылки здесь
17 фев '19 в 17:01
1 ответ

Apache Storm Flux меняет топологию

Можно ли изменить макет топологии во время его работы? Я хотел бы изменить группировку потоков и болты, пока он активен. Отправка файла yaml с новым макетом топологии говорит о том, что он не может быть развернут, поскольку он уже запущен. Я использ…
19 апр '16 в 10:59
0 ответов

Используя флюс YAML, как назвать номер задачи для болтов в топологии Storm?

Смотрите этот фрагмент штормового потока YAML: ## spout definitions spouts: #spouts- Start - id: "perform-spout" className: "org.apache.storm.kafka.KafkaSpout" parallelism: 2 constructorArgs: - ref: "PerformSpoutConfig" #spouts- End ## bolt definiti…
29 сен '17 в 12:45
1 ответ

Топология Apache Storm с использованием файла Flux YAML

Я проектирую топологию Apache Storm, используя файл определения топологии Flux YAML. Проблема в том, что я не вижу, как: Создайте поток, который отправляет несколько болтов (кажется, что синтаксис включает только одну строку 'to:'). Испускать нескол…
23 фев '16 в 08:57
0 ответов

Apache Storm- не удается запустить топологию elasticsearch в локальном режиме

Мне нужно настроить краулер apache-storm и индексировать данные для elasticsearch. Я установил шторм и грозу и зоопарк работает пользовательский интерфейс too.I следовал этому учебник ливневого гусеничного elasticsearch интегрировать шторм с elastic…
03 окт '19 в 17:26
0 ответов

Использование Flux.main() для запуска топологии в локальном режиме в Storm 2.2.0

У нас есть несколько топологий Storm, написанных в 1.0.6, и мы тестируем их преобразование в 2.2.0. В 1.0.6 у нас были такие классы для запуска / отладки в среде IDE: import org.apache.storm.flux.Flux; import java.util.ArrayList; import java.util.Ar…
21 апр '21 в 23:46
0 ответов

Класс Stormcrawler Topology не работает, поскольку мы работаем с es-injector.flux

У меня есть несколько URL-адресов, которые нужно очистить с помощью Stormcrawler. Согласно [ссылка]https://medium.com/analytics-vidhya/web-scraping-and-indexing-with-stormcrawler-and-elasticsearch-a105cb9c02ca[/link ] Я следил все шаги и получил пос…
24 июн '21 в 21:38
0 ответов

Время ожидания кортежа Apache Storm истекло через 10 минут, но параметр topology.message.timeout.secs настроен как 5 минут

У нас есть топология с topology.message.timeout.secs = 300 секунд. Недавно мы столкнулись с проблемой, когда первый болт после носика достигал емкости ~2. Болт начал обрабатывать кортежи очень медленно (он начал обрабатывать кортежи через 5 минут по…
03 ноя '21 в 10:17