Файл FlumeData не создается в приемнике HDFS

Question

Я пытаюсь принимать данные в реальном времени, используя Кафку в качестве источника и поток в качестве приемника. Тип раковины - HDFS. Мой продюсер работает нормально, я вижу производимые данные, и мой агент работает нормально (без ошибок при выполнении команды), но файл не генерируется в указанном каталоге.

Команда для запуска агента Flume:

/usr/hdp/2.5.0.0-1245/flume/bin/flume-ng agent -c /usr/hdp/2.5.0.0-1245/flume/conf -f /usr/hdp/2.5.0.0-1245/flume/conf/flume-hdfs.conf -n tier1

И мой файл flume-hdfs.conf:

 tier1.sources  = source1
 tier1.channels = channel1
 tier1.sinks = sink1

 tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
 tier1.sources.source1.zookeeperConnect = localhost:2181
 tier1.sources.source1.topic = data_1
 tier1.sources.source1.channels = channel1

 tier1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
 tier1.channels.channel1.brokerList = localhost:6667
 tier1.channels.channel1.zookeeperConnect = localhost:2181
 tier1.channels.channel1.capacity = 10000
 tier1.channels.channel1.transactionCapacity = 1000

 tier1.sinks.sink1.type = hdfs
 tier1.sinks.sink1.hdfs.path = /user/user_name/FLUME_LOGS/
 tier1.sinks.sink1.hdfs.rollInterval = 5
 tier1.sinks.sink1.hdfs.rollSize = 0
 tier1.sinks.sink1.hdfs.rollCount = 0
 tier1.sinks.sink1.hdfs.fileType = DataStream
 tier1.sinks.sink1.channel = channel1

Я не могу выяснить, что не так с казнью.

Пожалуйста, предложите, как преодолеть эту проблему.

Answer 1

Установите путь приемника HDFS следующим образом:

tier1.sinks.sink1.hdfs.path = "VALUE of fs.default.name, located in core-site.xml"/user/user_name/FLUME_LOGS/

Например

tier1.sinks.sink1.hdfs.path = hdfs://localhost:54310/user/user_name/FLUME_LOGS/