проблема сберегательного сервера beeline spark
Я пытался получить доступ к Spark sql через jdbc, но столкнулся с некоторой ошибкой. Я пытаюсь запустить билайн
! /usr/lib/spark/bin/beeline -u 'jdbc:hive2://host:10016/default;transportMode=binary' -e '' 2>&1| awk '{print}'|grep -i -e 'Connection refused' -e 'Invalid URL' -e 'Error: Could not open'
Error: Could not open client transport with JDBC Uri: host:10016/default;transportMode=binary: java.net.ConnectException: Connection refused (Connection refused) (state=08S01,code=0)
hive.server2.thrift.port = 10016 и режим двоичный. Я проверил, что процесс запущен на этом порту. Я проверил логи сервера Spark Thrift:
ссылка на логи : https://pastebin.com/G5Mwaw7E
Это говорит
java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
(pasted the logs in above link).
Я использую Spark версии 3.1.0, hive 3.1.2 и hadoop 3.1.2. Следуя этому руководству https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html#intecting-with-different-versions-of-hive-metastore
Я установил для "spark.sql.hive.metastore.version" значение 3.1.2 и установил jar-файлы, указывающие на jar-файлы hivemetastore 3.1.2, но все равно получаю ту же ошибку.
Из журналов у меня также возникли подозрения по поводу несоответствия версии ядра datanucleus в hive и spark, но оба используют одну и ту же версию.
https://github.com/apache/hive/blob/branch-3.1/pom.xml#L129
https://github.com/apache/spark/blob/branch-3.1/pom.xml#L184 (отредактировано)
Это известная проблема, как ее исправить. Сообщите мне, если потребуется что-нибудь еще. Спасибо