Как увеличить скорость обработки дымового агента

Question

У меня есть агент Flume, который загружает данные в эластичный поиск. Агент использует spoolDir источник. Есть еще один агент, который записывает файлы в директорию spoolDar агента поиска.

Со временем файлы увеличиваются, а разница между обработанными файлами и необработанными файлами увеличивается.

Я хочу увеличить количество событий, обрабатываемых агентом Flume, чтобы ускорить процесс приема.

Вот конфигурация агента против гриппа.

agent04.sources = s1

agent04.channels = ch1

agent04.channels = memoryChannel

agent04.channels.memoryChannel.type = memory

agent04.channels.memoryChannel.capacity = 100000

agent04.channels.memoryChannel.transactionCapacity = 1000

agent04.sources.s1.channels = memoryChannel

agent04.sources.s1.type = spooldir

agent04.sources.s1.spoolDir = / DataCollection / Flume_Cleaner_Output / Json_Elastic /

agent04.sources.s1.deserializer.maxLineLength = 100000

agent04.sinks = эластичный поиск

agent04.sinks.elasticsearch.channel = memoryChannel

agent04.sinks.elasticsearch.type = org.css.cssElasticsearchSink

agent04.sinks.elasticsearch.batchSize = 400

agent04.sinks.elasticsearch.hostNames =astic-node01.css.org

agent04.sinks.elasticsearch.indexName = all_collections

agent04.sinks.elasticsearch.indexType = live_tweets

agent04.sinks.elasticsearch.indexNameBuilder = org.css.sa.flume.elasticsearch.sink.indexNameBuilder.HeaderValueBasedIndexNameBuilder

agent04.sinks.elasticsearch.clusterName = css_rai_social

agent04.sinks.elasticsearch.serializer = org.jai.flume.sinks.elasticsearch.serializer.ElasticSearchJsonBodyEventSerializer

agent04.sinks.elasticsearch.cache_period_ms = 90d

Answer 1

Почему вы связываете двух агентов Flume, используя сполдир? Это будет очень медленно и это удивительная конфигурация. Вы несете стоимость частых fsyncs, поскольку каждая партия обрабатывается.

Я рекомендую вам связать их, используя Avro Sink и Avro Source. Я бы также увеличил размер пакета как минимум до 1000. (Компьютеры действительно любят пакеты, и Flume настроен для этого).