ПОСЫЛКА Лебедя раковина к Elasticsearch/Kibana?

Question

ПОСЫЛКА Лебедя раковина к Elasticsearch/Kibana?

У меня сейчас рабочий процесс:

Fiware Orion -> Fiware Cygnus -> Кафка -> Logstash -> Elasticsearch -> Кибана

Я хотел бы напрямую передать данные из Cygnus в Elasticsearch, есть ли уже приемник?

Приемник Apache Flume/Elasticsearch уже существует: https://flume.apache.org/releases/content/1.3.0/apidocs/org/apache/flume/sink/elasticsearch/ElasticSearchSink.html

Мне было интересно, будет ли легко использовать его для Лебедя?

1

elasticsearch fiware-cygnus

Источник

user5899100 08 дек '16 в 14:42

1 ответ

Решение

Другие вопросы по тегам elasticsearch fiware-cygnus

user3568072 16 дек '16 в 08:46 2016-12-16 08:46 · Accepted Answer · 2016-12-16 08:46

До версии Cygnus 1.5.0 (в комплекте) такой приемник можно было идеально использовать (как и любой другой приемник Flume) в конфигурации агента Cygnus.

Начиная с версии 1.6.0 (включенной, это последняя версия) вы не сможете, поскольку мы внутренне заменили использование нативного Event объекты с обычаем NGSIEvent из них. Зачем?:

Event это набор заголовков и массив необработанных байтов для тела.
NGSIEvent наследуется от Eventи представляет собой набор заголовков, уже проанализированную версию тела (как объекта) и массив необработанных байтов для тела, указывающего наnull (эта последняя часть избегает совместимости с нативными раковинами Flume).

В любом случае, это "легко" исправить: новая версия NGSIEvent будет связываться как с разобранной версией тела, так и с самим телом как необработанные байты.