Не удалось загрузить таблицу улья в Spark

Question

Я пытаюсь загрузить данные из таблицы улья с помощью spark-sql. Тем не менее, это ничего не возвращает мне. Я попытался выполнить тот же запрос в улье, и он выводит результат. Ниже мой код, который я пытаюсь выполнить в Scala.

sc.setLogLevel("ERROR")
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{StructField, StructType, LongType}
import org.apache.spark.sql.hive.HiveContext
import sqlContext.implicits._
val sqlContext = new HiveContext(sc)
sqlContext.setConf("spark.sql.hive.convertMetastoreOrc", "false")
val data = sqlContext.sql("select `websitename` from db1.table1 limit 10").toDF

Пожалуйста, дайте мне знать, что может быть возможной причиной.

• Spark-версия: 1.6.2
• Скала - 2,10

Answer 1

Зависит, как таблица была создана в первую очередь. Если он был создан внешним приложением и у вас запущен куст как отдельная служба, убедитесь, что параметры в файле SPARK_HOME/conf/hive-site.xml указаны правильно.

Если это внутренняя таблица spark-sql, она устанавливает метастор в папке на главном узле, которая в вашем случае могла быть удалена или перемещена.