Загрузка данных из Twitter с использованием Flume - тег конечной группы сообщений протокола не соответствует ожидаемому тегу

Question

Нужна помощь в решении проблемы во Flume при загрузке данных Twitter в HDFS.

Я использую версию Hadoop 2.6 & FLUME 1.7.

Я настроил все согласно инструкциям. ( https://www.eduonix.com/blog/bigdata-and-hadoop/flume-installation-and-streaming-twitter-data-using-flume/)

Однако я получаю следующее исключение при выполнении команды.

Caused by: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.
at com.google.protobuf.InvalidProtocolBufferException.invalidEndTag(InvalidProtocolBufferException.java:94)

16/12/19 11:48:28 INFO hdfs.BucketWriter: Creating hdfs://localhost:50070/user/flume/tweet/FlumeData.1482128276941.tmp
16/12/19 11:48:28 WARN hdfs.HDFSEventSink: HDFS IO error
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "master/127.0.1.1"; destination host is: "localhost":50070; 

Answer 1

Это решено сейчас. Порт HDFS должен быть настроен в файле flume.conf. Вместо этого я настроил порт интерфейса Namenode, который вызывал проблемы.