Apache Spark - MLlib - Матричное умножение

Я пытаюсь использовать MLlib для задачи умножения матриц.

Я знаю, что Spark MLLib использует нативные библиотеки, которые должны присутствовать на узлах. (что это не идет с установкой искры).

Поэтому я уже установил библиотеку libgfortran на все узлы (я сделал то же самое, что и Apache Spark - MlLib - совместная фильтрация)

Но тогда я все еще сталкиваюсь с этой ошибкой при работе на кластере.

Lost task 0.3 in stage 2.0 (TID 11, ibm-power-6.dima.tu-berlin.de): java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dgemm(CCIIID[DII[DIID[DII)V
    at org.jblas.NativeBlas.dgemm(Native Method)
    at org.jblas.SimpleBlas.gemm(SimpleBlas.java:247)
    .....

Как я могу решить эту ошибку?

Источник

1 ответ

Спарк не использовал jblas какое-то время; насколько я могу сказать на данный момент не начиная с 1.4.0, которая вышла более года назад. Ответ вы связали со ссылками на документацию Spark 0.9.0, которая определенно древняя. Таким образом, самое простое решение - использовать более свежую версию Spark.

Если это невозможно или вы сталкиваетесь с ситуацией, когда вам нужно снова использовать jblas: похоже, вы используете оборудование IBM PowerLinux. Поддержка этой платформы была добавлена ​​в jblas в версии 1.2.4, поэтому вам нужно убедиться, что вы используете хотя бы эту версию.

Источник
Другие вопросы по тегам