Соединение Python JDBC, вызывающее проблему JVM

Question

Я пытаюсь подключиться к базе данных Impala, используя Python jaydebeapi. Я сталкиваюсь с проблемой JVM, когда я вызываю класс соединения два раза. Пожалуйста, найдите ниже мой класс подключения и Sql_Query Учебный класс.

Connection_Class:

import jaydebeapi
import jpype
import datetime
import ConfigParser
from fileinput import close

config = ConfigParser.RawConfigParser ( )
config.read ( 'ConfigFile.properties' )


def Impala_Connection(sql_query):
    conn_impala = None


    try:
        jars_location = config.get ( 'Jars_info' , 'Jars_Location' )
        args = "-Djava.class.path=%s" % jars_location
        jvm_path = jpype.getDefaultJVMPath ( )
        jpype.startJVM ( jvm_path , args )

    except IOError as err:

        print('An error occurred trying to read the file:{}".format(e)')
        sql_query.close ( )
    else:

        try:

            print "Start executing: " + sql_query + " at " + str (
            datetime.datetime.now ( ).strftime ( "%Y-%m-%d %H:%M" ) ) + "\n"
            url = config.get ( 'Jars_info' , 'Jdbc_Url' )
            Jdbc_Driver_Class = config.get ( 'Jars_info' , 'Jdbc_Driver_Class' )
            username = config.get ( 'Jars_info' , 'username' )
            password = config.get ( 'Jars_info' , 'password' )
            jdbc_jar_location = config.get ( 'Jars_info' , 'Jdbc_Jar_Location' )
            conn_impala = jaydebeapi.connect ( Jdbc_Driver_Class , url , {username , password} , jdbc_jar_location )
            curs = conn_impala.cursor ( )
            sql_execution = curs.execute ( sql_query )
            data = curs.fetchall ( sql_execution )
            curs.close()
            return (data)

        except Exception, err:
            print("Something went wrong with Impala Connection: {}".format(err))
        finally:
            close(conn_impala)
            jpype.shutdownJVM()

Sql_Query_Class:

from pyspark import SparkConf, SparkContext
from com.my.common_funcitons.Impala_Query_Executor import Impala_Connection
import sys

conf = SparkConf().setAppName("pyspark")
sc = SparkContext(conf=conf)


tbl_name = sys.argv[1]
refid = sys.argv[2]
metadata_Query="SELECT * from Metadata_Table TABLE_NAME='%s' and TEMP.unique_id=%s" %(tbl_name,refid)
metadata_info=Impala_Connection(metadata_Query)

if len(metadata_info) == 0:
    new_tbl_name = tbl_name+"_%"
    metadata_Query="SELECT * from Metadata_Table TABLE_NAME='%s' and TEMP.unique_id=%s"" (new_tbl_name,refid)
    metadata_info=Impala_Connection(metadata_Query)
    for row in metadata_info:
        metadata_no_of_columns=row[0]
        metadata_table_id=row[1]

    else:

    for row in metadata_info:
        metadata_no_of_columns=row[0]
        metadata_table_id=row[1]

У меня есть два типа имен таблиц, таких как table и table_000, поэтому, если я получаю нулевые данные, мне нужно добавить table_% и требовать того же. Когда я вызываю соединение Impala из того же класса, у меня возникает проблема с JVM, найдите стек ошибок ниже:

File "/usr/lib64/python2.7/site-packages/jpype/_core.py", line 50, in startJVM
    _jpype.startup(jvm, tuple(args), True)
RuntimeError: Unable to start JVM at native/common/jp_env.cpp:78

Я пытался добавить JVMshutdown в последний класс, но все еще сталкиваюсь с проблемой. Пожалуйста, предложите мне решение.

Answer 1

Используя функцию jpype.isJVMStarted(), я могу проверить, запущен jvm или нет, я решил мою проблему.

Answer 2

Когда я пытался решить эту проблему, я проверял, что я делал подключение pyarrow к системе HDFS перед этим соединением jaydebeapi. Я понял, что порядок имеет значение в этом вопросе, и если вы делаете соединения наоборот ( Jaydebeapi, то соединение пиарроу), это работает.

Не знаю, было ли это связано с вашей проблемой, но это может помочь в смягчении чужой проблемы.