Ошибка при вставке строк в Kudu с использованием Spark Shell
Я новичок в Apache Kudu, я установил его в своей системе Ubuntu, а затем создал в нем таблицу с помощью оболочки Apache Spark. Теперь я пытаюсь вставить данные в эту таблицу, используя insertRows(), для этого я использую приведенную ниже команду,
kuduContext.insertRows(customersDF, "spark_kudu_tbl")
Где customerDF - это фрейм данных, а spark_kudu_tbl - это таблица в базе данных Kudu. Я получаю ниже ошибки,
java.lang.NoSuchMethodError: org.apache.kudu.spark.kudu.KuduContext.insertRows(Lorg/apache/spark/sql/Dataset;Ljava/lang/String;)V
... 70 опущены
Я пробовал разные варианты, но никто не дает мне результатов. Может ли кто-нибудь дать какое-либо решение для моего вопроса.
1 ответ
Из сообщения об ошибке видно, что вы используете неверный артефакт kudu-spark, вам следует использовать kudu-spark2_2. пожалуйста, запустите свою оболочку как указано ниже (замените последний бит версией куду)
spark-shell --packages org.apache.kudu:kudu-spark2_2.11:1.3.0