Описание тега pyhive

Вопросы с тегом
1 ответ

Может ли python получить вывод консоли hive?

Потому что я использую python для управления потоком данных куста etl, и я использую pyhive для подключения улья и выполнения HQL. Я хочу получить больше информации от куста, например, вывод выполнения сеанса tez или вывод исключительной ошибки ошиб…
17 июл '17 в 03:31
0 ответов

TTransportException: TSocket читает 0 байтов при обращении к Hive через Python

Я пытаюсь получить доступ к Hive через Python 3.6. Я использую ниже код: from pyhive import hive import thrift_sasl from thrift_sasl import TSaslClientTransport conn = hive.Connection(host='192.168.1.103',port=10000, auth='NOSASL') Я получаю ниже Ош…
23 апр '18 в 14:35
0 ответов

Проблема с соединением pyhive после выполнения запроса, который занимает слишком много времени

Я использую функцию pandas.read_sql с подключением к улью для извлечения действительно больших данных. У меня есть такой скрипт: df = pd.read_sql(query_big, hive_connection) df2 = pd.read_sql(query_simple, hive_connection) Большой запрос занимает мн…
06 фев '19 в 13:24
1 ответ

Как настроить hive.Connection() для прохождения настроек Hive, которые я хочу?

Я использую Spyder 3.2.8 на Ubuntu 17.10. Я хотел бы передать Hive, который находится на удаленном кластере, чтобы дать имена именам столбцов, используя set hive.cli.print.header=true; команда. Вот что я сделал до сих пор: con = hive.Connection(host…
20 мар '18 в 12:02
1 ответ

"TSocket прочитал 0 байт" во время длительного выполнения запроса вставки куста

Я выполняю длинную вставку запроса в Hive с использованием PyHive 0.6.1, и он не удается с thrift.transport.TTransport.TTransportException: TSocket read 0 bytes примерно через 5 минут бега. На стороне сервера запрос продолжается до успешного заверше…
05 окт '18 в 14:55
1 ответ

Невозможно подключиться к улью с помощью pyhive

Я получаю ошибку "EOFError()" при подключении для удаления hiveserver2. Моя версия игры 0.6.1 hiveserver2 использует http в качестве режима транспорта Это исключение ile "<stdin>", line 1, in <module> File "/usr/local/lib/python2.7/dist-…
28 дек '18 в 08:28
2 ответа

Hive Server 2 ошибка на Python соединиться с Hiveserver2

Я использую Centos, Python2.7, улей 2.1,Hadoop 2.7.2,pyHive вот код from pyhive import hive from TCLIService.ttypes import TOperationState cursor = hive.connect('localhost').cursor() cursor.execute('SELECT * FROM my_awesome_data LIMIT 10', async=Tru…
21 окт '16 в 07:01
0 ответов

pyhive: установка свойств улья с помощью pyhive

У меня сложный запрос на улей, в основе которого лежат декартовы произведения. поэтому мне нужно установить следующие свойства. но когда я выполняю эти свойства, используя pyhive, он не может выполнить. я получаю сообщение об ошибке с просьбой устан…
20 фев '19 в 10:48
1 ответ

Python Pyhive модуль не может импортировать имя куста

Я хочу подключить Python к улью, используя pyhive. Я использую приведенный ниже скрипт на python, который будет выполняться на моем локальном компьютере. #!/usr/bin/env python # coding: utf-8 from pyhive import hive from TCLIService.ttypes import TO…
25 июн '17 в 09:04
0 ответов

Как я могу передать таблицу Hive в качестве входных данных для скрипта Python?

У меня есть скрипт Python, который выполняет анализ файла CSV. Скрипт отлично работает с CSV-файлом, но теперь вместо передачи файла из pandas я хочу передать таблицу в Hive в качестве входных данных. Как это можно сделать? Мой код Python принимает …
29 мар '18 в 07:25
5 ответов

Как получить доступ к удаленному улью с помощью pyhive

Используйте эту ссылку, чтобы попытаться подключиться к удаленному улью. Ниже приведен код, используемый. Сообщение об ошибке также приводится ниже Как получить доступ к Hive через Python? Код from pyhive import hive conn = hive.Connection(host="10.…
17 май '17 в 14:20
2 ответа

Подстановка параметров при выполнении скриптов Hive из Python

Я должен выполнить следующий запрос к Hive из Python: SELECT * FROM user WHERE age > ${hiveconf:AGE} На данный момент у меня есть следующий рабочий код: import pyhs2 with pyhs2.connect(host='localhost', port=60850, authMechanism="PLAIN", user='hd…
25 янв '16 в 14:18
3 ответа

Вставка в куст с помощью Pyhive вызывает ошибку

Я использую Pyhive, чтобы взаимодействовать с ульем. SELECT заявление идет хорошо, используя этот код ниже. # Import hive module and connect from pyhive import hive conn = hive.Connection(host="HOST") cur = conn.cursor() # Import pandas import panda…
15 май '18 в 17:56
1 ответ

Доступ к таблице Hive с использованием `PyHive` с числами в начале имени таблицы приводит к ошибке

Я использую PyHive чтобы получить доступ к моему серверу Hive: # Connection parameters hive_host = "server.redecorp.com" hive_port = 10000 hive_options = {'job.queue.name': 'myqueue'} connection = hive.Connection(host=hive_host, port=hive_port, conf…
21 янв '16 в 19:35
0 ответов

PyHive Thrift транспортная исключительная ситуация: чтение 0 байт

Я пытаюсь подключиться к Hive server-2, работающему внутри контейнера Docker (извне контейнера) через python (PyHive 0.5, python 2.7), используя пример DB-API (асинхронный) from pyhive import hive conn = hive.connect(host='172.17.0.2', port='10001',…
23 окт '17 в 10:06
1 ответ

Presto/Python: как подключиться к Presto в AWS EMR с помощью python?

Я создал кластер Presto, используя AWS EMR. Я использую все конфигурации по умолчанию. Я хотел бы написать скрипт Python на главном узле, чтобы выдвигать запросы к presto и получать результат. Я нашел библиотеку PyHive, но не знаю, что поместить в с…
30 авг '17 в 14:09
1 ответ

Проблема запроса SuperSet Hive - ожидаемые данные в столбчатом формате

У меня странная проблема с запуском следующего запроса Hive через SuperSet (инкубатор apache): SELECT date, sum(1) visits, sum(price) revenue FROM visits WHERE date BETWEEN '2017-07-21' AND '2017-07-25' AND country = 'US' GROUP BY date, browser Ошиб…
28 июл '17 в 12:49
0 ответов

Как перебрать Pyhive fetchmany курсор

Я переносил свой код ETL в Python и использовал pyhs2, но собираюсь перейти на pyhive, поскольку он активно поддерживается и поддерживается, и никто не стал владельцем pyhs2. Мой вопрос заключается в том, как структурировать метод fetchmany для пере…
11 фев '16 в 07:50
0 ответов

Python Thrift и HappyBase несовместимы

У меня есть веб-приложение, которое использует пакеты Impyla и HappyBase. Если я изменяю код для использования pyHive вместо impyla, он начинает отказывать, говоря "не могу импортировать имя TFrozenDict" в модуле Thrift. Я использую Thrift-0.9.3. Ес…
13 авг '18 в 07:15
0 ответов

Не удается подключиться к незащищенному Hive с помощью Pyhive/impyla. Не удалось запустить ошибку SASL

Я пытаюсь получить доступ к незащищенному улью (hive.server2.authentication NONE), и я получаю следующее сообщение об ошибке в pyhive и impala: TTransportException: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism availab…
21 сен '17 в 17:41