Собственные библиотеки Apache Spark

Question

Недавно я смог собрать Apache Hadoop 2.5.1 с собственной поддержкой 64 бит. Итак, я избавился от надоедливого предупреждения о родных библиотеках.

Я пытаюсь настроить Apache Spark. Когда я запускаю spark-shell, появляется то же самое предупреждение:

14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Несколько советов:

Мне пришлось загрузить предварительно собранную версию Spark 2.4, потому что для Hadoop 2.5 с Maven до сих пор нет профиля.

Следующие экспорты были добавлены в spark-env.sh:

export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop

export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native

Не работал с spark-shell и spark-submit. Моя локальная установка Hadoop настроена как псевдораспределенная (ResourceManager + поддержка YARN).

Answer 1

Вы должны добавить HADOOP_HOME/lib/native к LD_LIBRARY_PATH:

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native