Как читать с куду на питон
Я пытаюсь получить данные из Куду. Но я не могу установить пакет kudu-python в anaconda или на мой сервер. Могу ли я получить помощь с этим? Документация в интернете не совсем понятна.
1 ответ
@Kartik, вы сталкивались с какими-либо ошибками? Я только что установил клиент kudu-python на Anaconda на Centos 6.9. Был один гоча с версионированием, но в остальном все было просто. Единственная ошибка, с которой я столкнулся, была
kudu/client.cpp:589:30: fatal error: kudu/util/int128.h: No such file or directory
для этого есть решение: https://community.cloudera.com/t5/Data-Ingestion-Integration/can-not-install-kudu-python/td-p/67496
В противном случае выполните следующие шаги: 1. Установите клиентские библиотеки kudu, как описано на веб-сайте Kudu ( https://kudu.apache.org/docs/installation.html):
wget http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/cloudera-kudu.repo
sudo mv cloudera-kudu.repo /etc/yum.repos.d/
sudo yum update
sudo yum install kudu kudu-client0 kudu-client-devel
установите связку dev-зависимостей, если у вас их еще нет:
sudo yum установить autoconf automake libtool make gcc gcc-C++
установить Cython и Kudu-Python
pip install Cython kudu-python == 1.2.0
Как только вы это установили, вы можете найти примеры в https://github.com/apache/kudu/tree/master/examples/python
У меня не было возможности установить kudu-client (ОС Windows не поддерживается), поэтому я использовал Impala кластера для получения таблиц Kudu:
from impala.dbapi import connect
conn = connect('<Impala Daemon>', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
print(cursor.description) # prints the result set's schema
results = cursor.fetchall()