Как перехватить мета-данные Apache flume для передаваемых данных

Question

Как перехватить мета-данные Apache flume для передаваемых данных

Я пытался перехватить метаданные Apache Flume, но я не видел, где он записывает эту информацию.

Пожалуйста, дайте мне знать, если мне нужно выполнить предварительную настройку для сбора метаданных Flume.

Заранее спасибо.

0

hadoop flume

Источник

user2285498 25 апр '13 в 07:52

1 ответ

Другие вопросы по тегам hadoop flume

user217079 07 май '13 в 12:22 2013-05-07 12:22 · Answer 1 · 2013-05-07 12:22

Компоненты Flume записывают часть такой мета-информации в стандартный журнал Flume (/var/log/flume-ng).

Например, приемник HDFS записывает путь к файлу при его развертывании:

19 апр 2013 13:00:07,063 INFO  [hdfs-hdfs_sink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter.renameBucket:379)  - Renaming hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751.tmp to hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751

Avro source регистрирует каждый полученный пакет событий:

19 апр 2013 13:00:07,175 DEBUG [New I/O server worker #1-31] (org.apache.flume.source.AvroSource.appendBatch:222)  - Avro source avro_source: Received avro event batch of 100 events.

Кроме того, в Flume есть возможности мониторинга, которые позволяют сообщать во внешнюю систему (например, Ganglia) некоторые показатели, такие как общее количество обработанных сообщений, размер канала и т. Д. Посмотрите на http://flume.apache.org/FlumeUserGuide.html.