Могу ли я использовать библиотеки MKL, предоставленные Anaconda с Spark

Question

Я хочу использовать библиотеки MKL, поставляемые с Anaconda с Spark. Я установил libgfortran

conda install libgfortran

связанные библиотеки

ln -s $PATH_TO_ANACONDA/lib/libmkl_rt.so  $PATH_TO_ANACONDA/lib/liblapack.so.3
ln -s  $PATH_TO_ANACONDA/lib/libmkl_rt.so $ PATH_TO_ANACONDA/lib/libblas.so.3 

и поместил PATH_TO_ANACONDA/lib в LD_LIBRARY_PATH

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$PATH_TO_ANACONDA/lib

но когда я запускаю пример Spark ALS, я вижу

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK

так что я думаю, что это не сработало. Что-то явно не так с этим?

Answer 1

Вы можете использовать любую библиотеку, пока загружаете ее в узлы. Используйте --packages с библиотеками, которые вы хотели бы использовать