Описание тега impyla

Описание тега Вопросы с тегом
Impyla - это клиент Python для реализаций HiveServer2 (например, Impala, Hive) для механизмов распределенных запросов.
1 ответ

Не рассчитывается сумма для всех столбцов в панде

Я вытаскиваю данные из Импалы, используя impyla и преобразовать их в dataframe, используя as_pandas, А я пользуюсь Pandas 0.18.0, Python 2.7.9 Я пытаюсь вычислить сумму всех столбцов в кадре данных и пытаюсь выбрать столбцы, которые превышают порого…
06 май '16 в 11:44
2 ответа

Impyla Вставка SQL из Flask: синтаксическая ошибка (привязка идентификатора)

Недавно я настроил конечную точку Flask POST для записи данных в Impala DB через модуль Impyla. Конверт: Python 3.6.5 на CentOS. Версия Impala: версия Impalad 2.6.0-cdh5.8.0 api.py: from flask import Flask, request, abort, Response from flask_cors i…
12 дек '18 в 08:41
3 ответа

Как подключиться к Apache Hadoop с помощью Impyla и Kerberos

Прежде всего, я также прочитал этот вопрос (так как он кажется похожим). Моя проблема в том, что я также пытаюсь подключиться к нашей системе Apache Hadoop, которая теперь защищена Kerberos. Я использую модуль Impyla для достижения этой цели. До уст…
24 янв '19 в 13:32
1 ответ

Использование Python для подключения к базе данных Impala (ошибка thriftpy)

То, что я пытаюсь сделать, очень просто: подключиться к базе данных Impala с помощью Python: from impala.dbapi import connect conn = connect(host='impala', port=21050, auth_mechanism='PLAIN') Я использую пакет Impyla для этого. Я получил эту ошибку:…
01 фев '19 в 15:44
0 ответов

Является ли использование поля отметки времени с concat(to_date) наиболее эффективным способом запроса в предыдущий день в Impala?

Я запрашиваю данные из HDFS с использованием Impala в сценарии Python с использованием библиотеки Python Impyla. Конкретные данные являются прокси-данными, и их множество. У меня есть скрипт, который запускается ежедневно, чтобы вытащить предыдущий …
21 янв '19 в 12:43
0 ответов

ibis ConnectionError: ('Соединение прервано.', RemoteDisconnected('Соединение с удаленным концом закрыто без ответа',))

У меня проблема с подключением Ibis к импале. Я могу запрашивать и извлекать информацию и преобразовывать ее с помощью панд без каких-либо проблем, но когда я пытался создать таблицу из фрейма данных панд, я получаю сообщение об ошибке: ConnectionEr…
25 окт '18 в 17:12
0 ответов

Не удается подключиться к Hiveserver2 с помощью Impyla

Может ли кто-нибудь помочь мне решить проблему ниже в Windows 10? Вот код Python, который я имею: from impala.dbapi import connect from contextlib import closing if __name__ == '__main__': with closing(connect(host='host_name_with_hiveserver2', port…
22 мар '17 в 15:55
2 ответа

Получение подробного сообщения об ошибке Impyla

Когда я выполняю оператор SQL в Impala с использованием Python/Impyla, я просто получаю исключение с общим сообщением об ошибке, например "Операция в ERROR_STATE". Как получить более подробную информацию об ошибке, которая произошла?
21 апр '16 в 05:16
2 ответа

Код возврата Impyla 1 из org.apache.hadoop.hive.ql.exec.mr.MapRedTask при запросе HiveServer2

Я использую Impyla для запроса некоторых результатов от HIVE, однако я столкнулся с этой проблемой: Из импыла: impala.error.OperationalError: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exe…
26 авг '18 в 18:27
3 ответа

Импала связь через sqlalchemy

Я новичок в Hadoop и Impala. Мне удалось подключиться к Impala, установив Impyla и выполнив следующий код. Это соединение по LDAP: from impala.dbapi import connect from impala.util import as_pandas conn = connect(host="server.lrd.com",port=21050, da…
19 сен '16 в 22:07
1 ответ

Запросы Impala не выполняются асинхронно

По сути, есть небольшое приложение aiohttp, которое получает список запросов Impala и затем отправляет их Impala. Однако для выполнения некоторых запросов может потребоваться много времени, поэтому мы решили сделать это асинхронным / параллельным сп…
03 сен '18 в 18:49
0 ответов

Не удается подключиться к незащищенному Hive с помощью Pyhive/impyla. Не удалось запустить ошибку SASL

Я пытаюсь получить доступ к незащищенному улью (hive.server2.authentication NONE), и я получаю следующее сообщение об ошибке в pyhive и impala: TTransportException: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism availab…
21 сен '17 в 17:41
0 ответов

Ошибка файла при тестировании Python Impyla

Я пытаюсь установить связь между питоном и импалой. Исходя из инструкций здесь я пытаюсь настроить импыла. Я нахожусь на vagrant Ubuntu/ Xenial64 Box с Python 2.7.12. После прочтения о некоторых проблемах с последней комиссией я понизился до указанн…
28 июл '17 в 10:26
0 ответов

Чрезвычайно низкая скорость записи при вставке строк в таблицу Hive с помощью импыла

При попытке вставить строки в многораздельную таблицу Hive с помощью impyla, Это пример кода, который я написал на python: from impala.dbapi import connect targets = ... # targets is a dictionary of objects of a specific class yesterday = datetime.d…
22 сен '16 в 15:23
0 ответов

impyla: TypeError: ожидается строка байтов

ENV: python3.5.1бережливость 0.11.0бережливое отношение 0.3.0бережливый 0.3.9импила 0.14.2.2 мой код: from impala.dbapi import connect from impala.util import as_pandas icon=connect(host='bd-slave07-pe2.f.com',port=21050,user='username',auth_mechani…
27 фев '19 в 05:42
0 ответов

Любой модуль Python, например, R-пакет `RODBC`?

На работе я использую Impala для загрузки данных в R/RStudio и после анализа буду загружать данные в Impala. Оба успешно работают в пакете R RODBC с функцией, sqlQuery а также sqlSave, Теперь я нашел модуль Python impyla работает в загрузке данных с…
21 мар '18 в 15:23
0 ответов

Не удалось запустить SASL при подключении куста с LDAP

при подключении к hive-серверу без аутентификации работает нормально, вот так: conn = connect (host = 'host.without.authenticate.', port = xxx, база данных =xxx, auth_mechanism='PLAIN') при подключении к hive-серверу с помощью ldap authenticate, как…
05 дек '16 в 07:19
1 ответ

Медианный расчет импалы на больших данных

У меня есть доступ к некоторым данным, это сотни миллионов строк за любой месяц. 3 функции: строка, представляющая дату, строка, представляющая тип, и значение, представляющее сумму. Имея доступ к python и impala(SQL), как лучше всего рассчитать мед…
17 июл '18 в 20:14
1 ответ

Подключение к кластеру Kerberized hadoop с помощью модуля Python Impyla

Я использую модуль Impyla для подключения к Kerberized Hadoop кластера. Я хочу получить доступhiveserver2/hive, но я получаю следующую ошибку: test_conn.py from impala.dbapi import connect import os connection_string = 'hdp296m1.XXX.XXX.com' conn = …
19 янв '17 в 09:47
0 ответов

Использование импыла для доступа к Hive, не в состоянии ВЫБРАТЬ (не хватает привилегий)

Я установил следующее: from impala.dbapi import connect conn = connect(host='atgrzsl2654.avl01.avlcorp.lan', port=10000, user='my_user', auth_mechanism="PLAIN", database='my_database') cursor = conn.cursor() cursor.execute('SHOW TABLES') И когда я п…
05 окт '17 в 09:33