Описание тега trident
Abstraction on top of Apache Storm for doing realtime computation.
1
ответ
Запуск топологии Trident в модульном тесте с отслеживаемой топологией Storm
Как запустить тест JUnit для топологии Trident, чтобы позволить кортежам проходить через топологию во время тестирования и проверки выходных данных на каждом этапе? Я пытался запустить в рамках среды тестирования Storm, но он не дает возможности про…
14 май '15 в 18:42
1
ответ
Штормовая группировка по нескольким полям
Что я должен сделать, это сгруппировать поток по двум полям ("remote-client-ip", "request-params") и подсчитать количество кортежей в каждой группе. И объединить их в карту. Вот моя топология: topology.newStream("kafka-spout-stream-1", repeatSpout) …
16 апр '15 в 17:06
1
ответ
Как использовать шторм Trident для дозирования кортежей?
Ранее я использовал шторм, и мне нужно больше возможностей дозирования, поэтому я искал дозирование в шторме. И я обнаружил Trident, которые делают микропакеты в режиме реального времени. Но почему-то я не могу понять, как Trident обрабатывает микро…
22 июн '16 в 04:31
1
ответ
Использование тиковых кортежей с трезубцем в шторме
Я могу использовать стандартный носик, комбинацию болтов для потоковой агрегации и очень хорошо работает в удачном случае, когда использую тиковые кортежи для сохранения данных через некоторый интервал для использования пакетной обработки. Прямо сей…
16 авг '14 в 13:35
1
ответ
Чтобы передать значение в запрос DRPC из выходного коллектора?
Я пытаюсь реализовать Trident+DRPC. Я разработал топологию так, чтобы она не работала бесконечно. У меня есть два отдельных класса, один для реализации носика, а другой для реализации DRPC и Trident. Мой класс носика (носик, который расширяет IRichS…
19 сен '13 в 13:47
1
ответ
Apache Storm однократная обработка
В настоящее время мы используем Apache Storm 0.9.5 в режиме кластерной топологии для обработки записей Amazon Kinesis (носик) и хранения их в хранилище данных Redshift (болт). Наш кластер Storm развернут в AWS и состоит из 1 узла nimbus + UI, 1 узла…
28 сен '15 в 04:30
2
ответа
Создание источника Apache Storm, который генерирует кортежи каждые X секунд
У меня есть топология, которая получает данные от брокера MQTT, и я хочу, чтобы носик вел себя так: Создайте пакет кортежей (или список строк в одном кортеже) каждые x секунд. Как мне этого добиться? Я читал немного о штормовой трезубец, но его IBat…
27 окт '14 в 19:15
0
ответов
Storm Trident HDFS Bolt выдает ошибку
Топология Storm Trident выдает ошибки, как показано ниже, когда я пытаюсь отправить текстовое сообщение JMS из носика Trident JMS на болт Trident hdfs при попытке записать сообщения в HDFS. Кто-нибудь сталкивался с такой ошибкой и что вы думаете, ес…
06 ноя '15 в 19:11
1
ответ
Сравните Непрозрачный или Транзакционный носик Кафки
В чем разница между OpaqueTridentKafkaSpout а также TransactionalTridentKafkaSpout? Когда бы вы использовали один поверх другого?
17 окт '14 в 05:36
1
ответ
Чтение материала на хостинге MSHTML.DLL напрямую (не WebBrowser)?
Кто-нибудь может предложить хороший материал для чтения на хостинге MSHTML.DLL/Trident напрямую (не SHDOCVW.DLL / WebBrowser)? Я хочу использовать его для элементов графического интерфейса, иногда основных, в C++. Мне нужен рендеринг HTML, JavaScrip…
30 окт '13 в 14:11
1
ответ
Apache storm Trident - создание топологий динамически
Есть ли способ динамически создавать топологии в трезубце? Может ли кто-нибудь привести примеры?
20 июн '16 в 15:20
1
ответ
Как сохранить хэш-ключ Redis с помощью Trident
Я работаю над проектом данных в реальном времени и в настоящее время использую библиотеку trident-redis по адресу https://github.com/kstyrc/trident-redis для хранения наборов ключей со счетчиками. У меня есть несколько более сложных разбивок, которы…
21 июл '14 в 20:01
1
ответ
Ребаланс в Трайденте
Мне интересно, какова лучшая практика для балансировки топологии Trident? Топология Storm Trident, кажется, устанавливает количество задач в соответствии с намеками параллелизма потока. Когда я запускаю команду rebalance, я не могу увеличить количес…
21 фев '14 в 23:35
3
ответа
Проблемы с производительностью: Kafka + Storm + Trident + OpaqueTridentKafkaSpout
Мы наблюдаем некоторые проблемы с производительностью с Kafka + Storm + Trident + OpaqueTridentKafkaSpout Упомянутые ниже детали нашей настройки: Топология шторма: Broker broker = Broker.fromString("localhost:9092") GlobalPartitionInformation info =…
01 июл '14 в 12:35
0
ответов
Storm Trident - Непрерывное излучение из агрегатора, даже если в кафке нет данных
У меня есть топология, которая берет кортежи из кафки. Топология выглядит примерно так. topology.newStream("kafkaSpout", spout) .shuffle() .each(new Fields("str"), new Filter()) .parallelismHint(5) .each(new Fields("str"), new Function(), new Fields…
22 июн '16 в 12:17
1
ответ
Локальный класс InvalidClassException несовместим при работе с топологией шторма
Мое штормовое приложение, работающее с одной топологией, работает нормально только при работе в локальном режиме, но при работе в распределенной среде я получаю эти исключения в своих журналах. Это то же исключение, но оно относится к 2 различным кл…
01 окт '13 в 14:27
1
ответ
Как отобразить кортежи с постоянным состоянием в Trident?
Я изучаю основы Trident. Есть три метода на Trident Stream s для агрегации кортежей в пакете, включая этот, который позволяет предварительно сформировать отображение кортежей с сохранением состояния, используя Aggregator интерфейс. Но, к сожалению, …
08 ноя '13 в 12:51
0
ответов
Trident делает неправильные агрегации в потоке Кафки
Я новичок в штормовой трезубец. Вот моя проблема: Я использую сообщения из очереди Kafka и использую реализацию CombinerAggregator сделать агрегацию, чтобы сохранить данные в Кассандре. Когда я запускаю эту вещь локально, я вижу, что числа заполняют…
19 окт '15 в 14:12
2
ответа
Что такое состояние трезубца в шторме?
Я новичок в Trident в шторме. Я ломаю голову над TridentState. Насколько я понимаю, трезубец поддерживает состояние (т. Е. Метаданные) для каждого пакета (независимо от того, полностью ли обработаны все кортежи в пакете с сохранением идентификатора …
13 июл '13 в 07:44
1
ответ
Излучение в несколько потоков в Storm Trident
Как я могу излучать несколько потоков из одного болта в Storm Trident? У меня есть болт, который делает некоторые вычисления и на основе результата я хочу передать некоторые значения в один поток, а некоторые другие значения в другой поток. В Storm …
20 ноя '15 в 23:22