Данные отсутствуют в HDFS при передаче сжатых файлов с помощью Flume
Я пытаюсь перенести zip/ сжатые файлы в HDFS, используя flume, но я вижу, что только несколько файлов передаются. например, только 3 из 12 файлов. Я много раз пытался проверить, передаются ли случайные файлы, но каждый раз передаются одни и те же файлы. Например, файлы 3,7,11 и 12. Мои zip-файлы находятся на той же машине, где установлен hadoop.
Подробности:
spool.conf
#Agent components
a1.sources = src1
a1.channels = chan1
a1.sinks = sink1
#configuring the souce
a1.sources.src1.type = spooldir
a1.sources.src1.spoolDir = /home/hdeveloper/Logs
a1.sources.src1.deserializer=org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder
#configuring the channel
a1.channels.chan1.type = file
#Checkpoint directory
a1.channels.chan1.checkpointDir = /home/hdeveloper/flume-metadata/.flume/file-channel/checkpoint
#log files created in Data directory while running flume-agent
a1.channels.chan1.dataDirs = /home/hdeveloper/flume-metadata/.flume/file-channel/data
#configuring the Sink
a1.sinks.sink1.type = hdfs
a1.sinks.sink1.hdfs.path = hdfs://localhost:9000/twitterdata
a1.sinks.sink1.hdfs.useLocalTimeStamp = true
a1.sinks.sink1.hdfs.fileType = CompressedStream
a1.sinks.sink1.hdfs.codeC = GzipCodec
a1.sources.src1.channels = chan1
a1.sinks.sink1.channel = chan1
------------------------------------------------
command to execute :
[hdeveloper@localhost apache-flume-1.6.0-bin]$ bin/flume-ng agent --conf ./conf --conf-file ./conf/spool.conf --name a1 -Dflume.root.logger=INFO,console
Я не вижу ошибок в логах