apache nifi, формат hdfs паркет
Я новичок в NIFI, мой пример использования - чтение из порта и запись в hdfs в формате паркета, мое исследование говорит о том, что есть что-то под названием KiteSDK, с помощью которого я могу сохранить формат Parquet. Я прав? Любые примеры помогут.
2 ответа
Конечно, в Apache NiFi есть процессоры, которые помогут вам в этом. ListenTCP может захватывать данные из сокета. Вы можете использовать некоторые из процессоров преобразования потенциально, в зависимости от вашего типа данных, чтобы скрыть их. Не уверен, что Parquet в качестве выходного формата поддерживается напрямую. И конечно доставка в HDFS поддерживается. Для недостающих фрагментов вы можете создать JIRA в сообществе apache, подать заявку или написать встроенный скрипт, используя ExecuteScript. Много вариантов.
Спасибо джо