Описание тега apache-storm-topology

Вопросы с тегом
1 ответ

Исключение в KafkaSpout

Я получаю следующую исключительную топологию шторма. java.lang.NoSuchMethodError: org.apache.kafka.common.network.NetworkSend.<init>(Ljava/lang/String;[Ljava/nio/ByteBuffer;)V at kafka.network.RequestOrResponseSend.<init>(RequestOrRespon…
27 авг '18 в 09:43
1 ответ

Apache Storm: сценарий storm-kafka-monitor выдает исключение

Я установил кластер Apache Storm локально и также представил топологию, которая видна в Storm UI, После того, как все работает, я получаю следующее исключение в ui.log файл. Ошибка в некоторой степени связана с storm-kafka-monitor Это скрипт bash, и…
05 июн '18 в 07:33
0 ответов

Развертывание штормовой топологии в разных кластерах с помощью Flux

Я использую Flux для развертывания моих топологий в удаленном кластере. Есть ли способ пройти nimbus.seeds через командную строку, чтобы я мог развернуть мои топологии в разных кластерах с помощью Flux. Я использую эту ссылку здесь для развертываний…
30 июл '18 в 10:52
0 ответов

Apache-Metron логическая архитектура?

Я некоторое время искал, как использовать Apache Storm, и я не уверен с его проверкой и процессом тегов Есть ли кто-нибудь, кто может рассказать мне процесс на архитектуре Apache Metron с Apache Storm, особенно, как он проверяет и помечает, и как пр…
16 окт '18 в 08:44
1 ответ

ApacheStorm, кто вызывает Spout.nextTuple()?

Мой вопрос: кто конкретно звонит nextTuple() метод в топологии Spout of Apache Storm? В некоторых источниках написано, что это делает сам Шторм, но это не является конкретным и неясным. При каких условиях Storm вызывает этот метод? По расписанию? Ес…
10 фев '18 в 09:45
0 ответов

KafkaSpout прекратил излучать, через некоторое время появились неудачные кортежи

У меня есть проблема с Storm KafkaSpout. У меня есть тема "twitter_streaming" в Кафке с 3 разделами. Это моя топология: SpoutConfig streamingTweetWriterConfig = new SpoutConfig(zkHosts, TwitterConstant.Kafka.TWITTER_STREAMING_TOPIC, "/" + TwitterCon…
12 янв '18 в 19:43
1 ответ

[Шторм] Что происходит с другими кортежами, привязанными к одному и тому же идентификатору сообщения, если один из них выходит из строя?

Если один из кортежей, привязанных к идентификатору сообщения, завершится неудачно, будут ли другие кортежи обрабатываться полностью или они будут остановлены штурмом?
03 дек '18 в 10:53
0 ответов

ClassNotFoundException: clojure.lang.PersistentList, компилирование:(clojure/core.clj:20:8) при отправке топологии в локальный кластер в Storm

Я новичок в Apache Storm и пытаюсь создать топологию в шторме, которую можно использовать для обработки потоков в реальном времени. Но когда я пытаюсь представить свою топологию в локальном кластере, я получаю исключения ниже Exception in thread "ma…
25 фев '19 в 08:25
0 ответов

Ошибки соединения Netty-клиента между рабочими узлами Apache Storm

Я использую Apache Storm с Nimbus, настроенным на одном узле, и двумя супервизорами, настроенными на двух других узлах. После запуска топологии (с работниками =2) она работает неправильно. В рабочих журналах одного из узлов супервизора я вижу следую…
04 июл '18 в 21:59
1 ответ

Пользовательский десериализатор не называется Apache Storm

Штурмовая версия - 1.0.6. У меня есть специальный сериализатор, зарегистрированный для одного из моих классов. Как и ожидалось, вызывается метод write, который выполняется успешно. Однако метод read моего пользовательского сериализатора не вызываетс…
19 мар '18 в 17:50
1 ответ

Шторм вызывает конфликты зависимостей на Ignite log4j

Я пытаюсь запустить топологию Storm в кластере Storm. Внутри болта топологии я хочу прочитать данные из модуля MyIgniteCache, но я получаю следующую ошибку. Я думаю, что зависимости (:/usr/hdp/2.6.0.3-8/storm/lib/log4j-slf4j-impl-2.8.jar:/usr/hdp/2.…
14 авг '18 в 11:42
2 ответа

Увеличение назначенной памяти для топологии в Storm

У меня есть кластер из 10 узлов с каждой машиной объемом 8 ГБ ОЗУ, и когда я запускаю свою топологию, выделенная память всегда пропорциональна количеству рабочих. И каждый работник занимает примерно 1 ГБ памяти. Я хочу выделить 2 ГБ каждому работник…
21 май '18 в 07:15
1 ответ

Топология штормовой топологии не обрабатывается через 2 или 3 дня

Я использую кластер Storm с 3 узлами. Мы представляем топологию с 10 работниками, ниже приведены подробные сведения о топологии Детали топологии: kafkaspout: 1 (with 10 kafka partions and 10 executors) no of bolt: 4 (with bolt1 - 30 executors,bolt2 …
28 фев '18 в 10:14
0 ответов

Исключение при записи в БД в Storm SCP.Net Bolt

Я использую шторм для чтения данных из концентратора событий и пытаюсь записать данные в БД. Я использую SCP.net для этого. Но я получаю ниже исключения. wn2-pernet.ja30ff0meoiu1aeytbaiuk3sod.ix.internal.cloudapp.net java.lang.RuntimeException: java…
22 фев '18 в 15:00
1 ответ

Найти версию jar для топологии в Apache Storm

У меня топология бегущего шторма начала использовать упакованный jar. Я пытаюсь найти версию банки, в которой работает топология. Насколько я могу судить, Storm будет показывать только версию работающего Storm, а не версию работающей топологии. Запу…
09 авг '17 в 16:22
0 ответов

Сброс соединения при использовании StormSubmitter.submitJar(...) для отправки топологии Apache Storm

Невозможно отправить JAR с помощью StormSubmitter.submitJar(...) Загрузка начинается, но через некоторое время выдается ошибка. Настройка LocalCluster работает нормально, это только в случае кластера, который доступен в наборе док-контейнеров. Разме…
26 июн '18 в 05:30
1 ответ

Пользовательский сериализатор в Apache Storm 1.1.0

Я использую пользовательский сериализатор в конфигурации топологии Storm следующим образом: config.put(Config.TOPOLOGY_FALL_BACK_ON_JAVA_SERIALIZATION, false); config.registerSerialization(ObjectNode.class, ObjectNodeSerializer.class); ObjectNodeSer…
01 фев '18 в 14:14
2 ответа

Убить топологию Storm, которая содержит специальный символ в имени топологии

Так получилось, что я получил топологию Storm от одного из их примеров (шторм-стартер), развернутого по имени -local, Теперь я не слишком счастлив, когда пытаюсь kill это потому, что имя интерпретируется как аргумент. Я пытался передать имя в (двойн…
03 апр '17 в 08:32
2 ответа

Смешанная топология apache-storm с python - ModuleNotFoundError: нет модуля с именем storm

Я пытаюсь создать смешанную топологию шторма, которая использует Java на основе носика и Python на основе болта. Для болта на основе Python я написал оболочку Java: class PythonBolt extends ShellBolt implements IRichBolt { public PythonBolt() { supe…
04 мар '18 в 17:42
1 ответ

Могут ли разные топологии в LocalCluster иметь Apache-шторм с одинаковыми именами

Мне нужно запустить несколько штормовых проектов в режиме LocalCluster. ProjectA->TopologyA->Spout1(listing to some stream X )->Bolt1->Bolt2 ProjectB->TopologyB->Spout1(listing to some stream Y )->Bolt1->Bolt2 ProjectC->To…
26 апр '18 в 08:50