Как мне установить путь к libhdfs.so для pyarrow?

Question

Я пытаюсь использовать pyarrow и получаю следующую ошибку.

ImportError: Can not find the shared library: libhdfs3.so

поэтому я прочитал некоторый stackru, и он говорит, что мне нужно установить переменную enviorment для ARROW_LIBHDFS_DIR.
Путь к libhdfs.so - /usr/local/hadoop/native/
он пытался установить его в bashrc, но это не сработало,
установка conda, похоже, не работает, т.е.

conda install libhdfs3
pip install libhdfs3
conda install -c clinicalgraphics libgcrypt11
conda install libprotobuf=2.5
conda update libhdfs3 

это будет большим подспорьем, если я получу это. заранее спасибо.

Answer 1

Обеспечить libhdfs.so в $HADOOP_HOME/lib/native а также в $ARROW_LIBHDFS_DIR

используйте это, чтобы проверить, установлена ​​ли у вас переменная в вашей среде bash ls $ARROW_LIBHDFS_DIR

если нет, найдите файл, используяlocate -l 1 libhdfs.so

Назначьте путь к каталогу, который вы обнаружите, переменной ARROW_LIBHDFS_DIR, используяARROW_LIBHDFS_DIR=<directory location to libhdfs.so>

упоминается здесь в SO - /questions/975502/nevozmozhno-zagruzit-libhdfs/55417952#55417952