Глотание CDR в hadoop
Я только начал работать над сценарием использования hadoop для анализа CDR почти в реальном времени. CDR кодируются в ASN1.1. Удаленный сервер регулярно питается CDR. Мне интересно, как вставить CDR с этого сервера в мой кластер и декодировать их для создания файлов CSV, которые могут быть обработаны Hive (или Spark Streaming ..).
Адаптирован ли Flume для приема данных такого типа? Как вы думаете, когда я должен декодировать ASN1.1, до или после приема? У меня есть программа, написанная на C для декодирования ASN1.1. Если Flume адаптирован для приема данных, должен ли я внедрить клиент Avro на сервере, содержащем исходные данные, или есть другой подходящий метод?