Невозможно записать данные в улей с помощью искры

Question

Я использую spark1.6. Я создаю hivecontext с использованием контекста искры. Когда я сохраняю данные в улье, это дает ошибку. Я использую Cloudera VM. Мой улей внутри Cloudera VM и зажечь в моей системе. Я могу получить доступ к VM, используя IP. Я запустил комиссионный сервер и hiveserver2 на виртуальной машине. У меня есть пользовательский сервер URI для hive.metastore.uris

 val hiveContext = new HiveContext(sc)
    hiveContext.setConf("hive.metastore.uris", "thrift://IP:9083")
............
............
 df.write.mode(SaveMode.Append).insertInto("test")

Я получаю следующую ошибку:

FAILED: SemanticException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien‌​t

Answer 1

Возможно, внутри папки spark conf, hive-site.xml недоступен, я добавил подробности ниже.

Добавление hive-site.xml в папку конфигурации spark.

создание символической ссылки, указывающей на файл hive-site.xml в папке конфигурации куста.

sudo ln -s /usr/lib/hive/conf/hive-site.xml /usr/lib/spark/conf/hive-site.xml

после вышеупомянутых шагов, перезапуск spark-shell должен помочь.