Описание тега ibis
Ibis - это платформа анализа данных с открытым исходным кодом от Cloudera, цель которой - обеспечить расширенный анализ данных в 100% стеке Python с полной точностью данных. Используйте для вопросов, связанных с настройкой Ibis, или проблем с использованием Ibis, которые не описаны в официальном руководстве.
1
ответ
Использование Python для подключения к базе данных Impala (ошибка thriftpy)
То, что я пытаюсь сделать, очень просто: подключиться к базе данных Impala с помощью Python: from impala.dbapi import connect conn = connect(host='impala', port=21050, auth_mechanism='PLAIN') Я использую пакет Impyla для этого. Я получил эту ошибку:…
01 фев '19 в 15:44
0
ответов
ibis ConnectionError: ('Соединение прервано.', RemoteDisconnected('Соединение с удаленным концом закрыто без ответа',))
У меня проблема с подключением Ibis к импале. Я могу запрашивать и извлекать информацию и преобразовывать ее с помощью панд без каких-либо проблем, но когда я пытался создать таблицу из фрейма данных панд, я получаю сообщение об ошибке: ConnectionEr…
25 окт '18 в 17:12
1
ответ
Как установить номер порта RPC Impala Namenode для Python Ibis или запросов
Я использую ibis-framework. я имею hdfs_client = ibis.hdfs_connect(...) impala_client = ibis.impala.connect(..., hdfs_client=hdfs_client) db = impala_client.database('abc') data = pd.DataFrame(...) db.create_table('tb_name', obj=data, format='parque…
08 апр '16 в 19:25
0
ответов
Hadoop [ERR_CACHE_ACCESS_DENIED] Когда я запускаю hdfs.put() из python-ibis удаленно
Я пытаюсь запустить hdfs.put() для загрузки файла в hdfs с удаленного хоста, и у меня появляется следующая ошибка: ОШИБКА Доступ к кэшу запрещен. При попытке получить URL-адрес возникла следующая ошибка: http://bda1agea06.agea.sa:50075/webhdfs/v1/da…
31 янв '18 в 20:51
2
ответа
Модуль 'ibis.impala' не имеет атрибута 'connect'
Я установил Python3.5 и ibis-framework 0.10.0. Я хочу работать с данными Панд непосредственно в базе данных Impala. Но я встречаю следующую ошибку. Не могли бы вы помочь мне решить это? Командная строка выглядит следующим образом: import ibis conn =…
07 июл '17 в 06:18
0
ответов
Попытка подключиться к серверу Impala, использующему Kerberos, с помощью ibis
Я пытаюсь подключиться к серверу Impala, использующему kerberos, используя ibis.impala.connect, вот так: import ibis client = ibis.impala.connect(host='grid.company.corp', port=21050, auth_mechanism='GSSAPI', use_ssl=True, kerberos_service_name='imp…
19 сен '16 в 21:24
1
ответ
python конвертирует таблицу ibis (Impala) в панду
Кто-нибудь знает, как конвертировать таблицу ibis (Impala) (<class 'ibis.expr.types.TableExpr'>) в панды датафрейм? На самом деле я хочу объединить (присоединиться) ibis table & pandas dataframe. Спасибо!!
30 сен '16 в 13:33
1
ответ
Вставка данных в таблицу impala с использованием Ibis Python
Я пытаюсь вставить df в созданную ibis таблицу impala с разделом. Я запускаю это на удаленном ядре, используя spyder 3.2.4 на машине с windows 10 и python 3.6.2 на машине с граничным узлом под управлением CentOS. Я получаю следующую ошибку: Writing …
22 ноя '17 в 22:54
1
ответ
Преобразование простого SQL-запроса Impala в ibis
Я пытаюсь преобразовать простой SQL-запрос Impala в запрос ibis в python, но у меня возникают проблемы с пониманием синтаксиса ibis при преобразовании из sql. Пока я пробовал это: agg = joblist_table_handle.lastupdatedate.max() joblist = joblist_tab…
15 май '19 в 21:18
0
ответов
Попытка загрузить фрейм данных Python в Hadoop (Impala) с помощью `ibis`, получая"AttributeError: модуль "ibis" не имеет атрибута "impala" "
Я выполняю следующий блок команд Python в записной книжке Jupyter, чтобы загрузить свой фрейм данных, помеченный dfИмпале: import hdfs from hdfs.ext.kerberos import KerberosClient import pandas as pd import ibis hdfs = KerberosClient('< URL addre…
14 мар '19 в 04:57
0
ответов
Ibis Impala JOIN проблема с релабелем / именем 'колонка AS newName'
Когда вы используете Ibis API для запроса импалы, по какой-то причине Ibis API заставляет его становиться подзапросом (когда вы соединяете 4-5 таблиц, он внезапно становится очень медленным). Он просто не будет нормально соединяться из-за проблемы п…
10 май '19 в 17:32
0
ответов
Невозможно подключиться к Impala через AWS Lambda с помощью Ibis
У меня есть AWS лямбда-функция написана на python2.7. Используя лямбда-функцию, я пытаюсь подключиться к Impala (установленному на экземпляре ec2). Функция py lambda использует Ibis для подключения к Impala. При попытке выполнить тестирование от Lam…
16 май '19 в 15:21
0
ответов
DSL как SQL в BigQuerOperator Airlfow
Как энтузиаст типизированных языков, я ненавижу писать простые SQL-запросы. К сожалению, BigQueryOperator Airflow не предоставляет никакой поддержки DSL из коробки. Итак, возникает мой вопрос - возможно ли использовать DSL как SQL в BigQueryOperator…
20 июн '19 в 07:01
0
ответов
Ibis Python Help: ValueError: найдено несколько бэкэндов
Я пытаюсь преобразовать объединенную таблицу в фрейм данных Python, используя Ibis. Две таблицы, которые я использую, взяты из bigquery и могут легко конвертировать их в dataframe. Но когда я присоединяюсь к ним и вызываю метод execute(), он выдает …
26 авг '19 в 23:04
0
ответов
Python - Ошибка с Ibis / Impyla с Winkerberos
Я пытаюсь получить доступ к керберизованному кластеру Hadoop через impyla и ibis. Я использую python 3.6 и windows 10. У меня есть код, подобный следующему: import ibis hdfs = ibis.hdfs_connect(host=HOST, port=PORT) client = ibis.impala.connect(host…
02 дек '19 в 17:36
0
ответов
Как одновременно выполнять запросы с помощью Impala с кодом Python?
Контекст Я использую Python (3.7) для выполнения нескольких запросов на сервере Hadoop. После нескольких тестов я считаю, что Impala - самый эффективный движок для запросов к базе данных. Поэтому я установил соединение с использованием инфраструктур…
02 окт '19 в 18:08
0
ответов
использование функций sql в ibis
Я хотел бы написать эквивалент select * from tbl order by generate_uuid() перетасовать стол в Ibis. Проблема в том, что generate_uuid это функция SQL, которая находится в базе данных и не существует в Python как объект верхнего уровня. Это говорит о…
06 фев '20 в 12:32
1
ответ
Ibis создает таблицу импала с фреймом данных pandas и получает [Ошибка 61] В соединении отказано
После выполнения инструкции sql impyla я конвертирую результаты в формат фрейма данных pandas. Но теперь я хочу автоматически создать временную таблицу на импале с помощью Apache Ibis для создания таблицы и загрузки в нее фрейма данных. Следующие ко…
30 апр '20 в 11:57
0
ответов
Функция Apache Ibis ImpalaClient.close() не работает
Все, После создания подключения к HDFS/Impala и выполнения функции exists_table() я обычно использую close() для очистки всего сеанса подключения. Но я заметил, что если я сначала закрою соединение, функция create_table() все равно будет работать. Э…
22 май '20 в 10:10
2
ответа
Подключение к базе данных ibis pandas
Как мы можем работать с фреймами данных ibis и pandas? conn = ibis.pandas.connect({'data': dataframe}) projection = conn.table('data') Выдает ошибку: module 'ibis' has no attribute 'pandas' Мы ценим любые предложения
14 окт '20 в 13:08