Как локальная программа может получить доступ к каталогу hdfs?

Как локальная программа может получить доступ к каталогу hdfs? У меня установлена ​​локальная программа на всех моих узлах Hadoop. Локальная программа запускается из терминала, поэтому я использую Java Runtime Execution API в моей программе уменьшения карты.

Я просто хочу узнать, как моя локальная программа может получить доступ к каталогу hdfs. Обратите внимание, что копирование файла в мою локальную ФС не является решением того, чего я должен достичь. Следовательно, необходимо получить доступ к файлам, как они есть в HDFS.

PS Локальная программа Snort, а файлы HDFS разбиты на файлы Pcap

Источник

1 ответ

Для программы на Java вы можете использовать generic FileSystem interface для доступа к HDFS.

Org.apache.hadoop.fs.FileSystem в Hadoop - это универсальный класс для доступа и управления файлами / каталогами HDFS, расположенными в распределенной среде.
Hadoop HDFS JAVA API

Источник
Другие вопросы по тегам