Записать фрейм данных в таблицу Hive в IBM Analytics Engine
Я хотел бы сделать очень простую вещь: подключиться к серверу Hive в IBM Analytics Engine с помощью Spark удаленно и записать фрейм данных.
Вот мой код:
val connectionProperties = new Properties()
connectionProperties.put("user", "clsadmin")
connectionProperties.put("password", "XXXXXX")
connectionProperties.put("driver", "org.apache.hive.jdbc.HiveDriver")
val df = spark.read.json(ds)
df.write
.format("orc")
.mode(SaveMode.Append)
.jdbc("jdbc:hive2://chs-eyk-XXX-mn001.eu-gb.ae.appdomain.cloud:8443/;ssl=true;transportMode=http;httpPath=gateway/default/spark", table, connectionProperties)
Проблема в том, что я не могу подключиться к Hive вообще. Вот ошибка:
root[ERROR] 19/01/09 02:37:00 INFO Utils: Supplied authorities: chs-eyk-XXX-mn001.eu-gb.ae.appdomain.cloud:8443
root[ERROR] 19/01/09 02:37:00 INFO Utils: Resolved authority: chs-eyk-XXX-mn001.eu-gb.ae.appdomain.cloud:8443
root[ERROR] 19/01/09 02:37:01 ERROR PoolWatchThread: Error in trying to obtain a connection. Retrying in 7000ms
Моя конечная цель - иметь HBase в качестве основного хранилища операционных данных и записывать в него фреймы данных через API. Я также попытался использовать Феникс, но не повезло. Я полностью застрял. Мне нужен рабочий пример записи / чтения фреймов данных в / из HBase, каким-то образом, с Hive, Phoenix или любым другим клиентом поверх него.