HDF NIfi - записывает ли Nifi происхождение / данные на узел HDP?
Привет
У меня есть кластер HDF с 3 экземплярами Nifi, который запускает задания (Hive/Spark) на кластере HDP. Обычно nifi записывает всю информацию в различные репозитории, доступные на локальной машине.
Мой вопрос: записывает ли nifi какие-либо данные, информацию о происхождении или разливает их на узлы HDP (например, узлы данных в кластере HDP) при доступе к службам HDFS,Hive или Spark?
Спасибо
1 ответ
Apache NiFi не использует HDFS ни для одного из своих внутренних репозиториев / данных. Единственное взаимодействие между сервисами NiFi и Hadoop будет происходить через специальные процессоры, созданные для взаимодействия с этими сервисами, такие как PutHDFS, PutHiveQL и т. Д.
Данные о происхождении можно вытолкнуть из NiFi с помощью SiteToSiteProvenanceReportingTask, а затем сохранить в любом подходящем месте (HDFS, HBase и т. Д.).