Настройка libhdfs для приложения C++

Из моего приложения C++ мне нужно записать некоторые данные в HDFS(Hadoop v2.4.1) какого-либо другого приложения. В нашей команде мы собираем все программное обеспечение третьей части из исходников как для Windows, так и для Linux, поэтому я скачал tar-архив с исходным кодом hadoop 2.4.1.

Теперь мое единственное требование к приложению C++ - создавать и использовать собственную библиотеку libhdfs для подключения и перемещения некоторых файлов в целевую HDFS.

Я никогда не использовал Hadoop, поэтому у меня есть несколько довольно фундаментальных вопросов.

1) Нужно ли мне собрать весь исходный код hadoop, используя самый верхний уровень pom.xml? В идеале я просто хотел бы создать libhdfs. И используя CMakelists.txt, который предоставляется в hadoop-2.4.1-src/hadoop-hdfs-project/hadoop-hdfs/src, я смог собрать libhdfs.so в Linux

2) Когда я пытался выполнить тестовую программу test_libhdfs_ops, входящую в дистрибутив, я получаю переменную CLASPATH, а не ошибку. Я понимаю, что путь к файлам jar должен быть задан CLASSPATH, но я не вижу jar с исходным дистрибутивом, который я вижу с бинарным дистрибутивом в папке share. Какая минимальная конфигурация необходима, чтобы просто использовать библиотеку libhdfs из моего кода C++?

Я просмотрел различные онлайн-ресурсы, но у меня все еще есть эти сомнения, которые я хотел бы прояснить. Заранее спасибо!

0 ответов

Другие вопросы по тегам