Очень медленное соединение между Power Bi и Spark Thrift Server с использованием Spark Connector

Я использую разъем "искры" в настольном приложении Power Bi для подключения к серверу Spark Thrift, используя режим подключения "HTTP" с включенным "SSL" и опцией "Прямой запрос".

Однако соединение прошло успешно, слишком большая задержка составляет примерно 10 минут при каждом обмене данными между приложением Power Bi и Spark Thrift Server (например, проверка подлинности, загрузка метаданных, загрузка конкретной таблицы и т. Д.). Источником данных является "Hive Server2".

Моя конфигурация Spark Thrift в "hive-default.xml" выглядит следующим образом:

<property>
    <name>hive.server2.authentication</name>
    <value>PAM</value>
</property>
<property>
    <name>hive.server2.authentication.pam.services</name>
    <value>login,sudo,sshd</value>
</property>
<property>
    <name>hive.server2.use.SSL</name>
    <value>true</value>
</property>
<property>
    <name>hive.server2.keystore.path</name>
    <value>************</value>
</property>
<property>
    <name>hive.server2.keystore.password</name>
    <value>************</value>
</property>
<property>
    <name>hive.server2.transport.mode</name>
    <value>http</value>
</property>
<property>
    <name>hive.server2.thrift.http.port</name>
    <value>10001</value>
</property>
<property>
     <name>hive.server2.thrift.http.path</name>
     <value>cliservice</value>
</property>

Во-первых, я подозревал, что шифрование "SSL" замедляет связь, и я отключил его, но проблема все еще сохранялась. Поэтому я пришел к выводу, что это не имеет отношения к этому вопросу.

Любые идеи относительно того, как повысить скорость общения?

Примечание. Я протестировал подключение к серверу Spark Thrift с помощью инструмента командной строки "beeline" с включенным режимом "HTTP" и шифрованием "SSL", и это прошло очень быстро, поэтому я также исключил любую возможность возникновения проблем с задержкой в ​​сети.

0 ответов

Другие вопросы по тегам