Как импортировать "HdfsClient" в Python 3?

Question

Я новичок в Python и пытаюсь подключиться к системе Hadoop HDFS. Я получил следующий ссылочный код, который я пытался реализовать, но он показывал ошибку при импорте пакета.

from pyarrow import HdfsClient

# Using libhdfs
hdfs = HdfsClient('192.168.0.119', '50070', 'cloudera', driver='libhdfs')

Ошибка: ошибка импорта: невозможно импортировать имя "HdfsClient"

Я даже пытался установить его с помощью "pip", но

Не удалось найти версию, которая удовлетворяет требованию HdfsClient (из версий:) Не найдено подходящего распределения для HdfsClient

затем я попытался использовать "Конда", но снова

Сбор метаданных пакета: выполнено Решение среды: сбой

PackagesNotFoundError: Следующие пакеты недоступны в текущих каналах:

• hdfsclient

Текущие каналы:

• https://repo.anaconda.com/pkgs/main/win-64
• https://repo.anaconda.com/pkgs/main/noarch
• https://repo.anaconda.com/pkgs/free/win-64
• https://repo.anaconda.com/pkgs/free/noarch
• https://repo.anaconda.com/pkgs/r/win-64
• https://repo.anaconda.com/pkgs/r/noarch
• https://repo.anaconda.com/pkgs/msys2/win-64
• https://repo.anaconda.com/pkgs/msys2/noarch

Для поиска альтернативных каналов, которые могут предоставить пакет conda, который вы ищете, перейдите к

https://anaconda.org

и используйте панель поиска в верхней части страницы.

На самом деле я пытаюсь подключиться к HUE с помощью:

IP Add -> 192.168.0.119

Название порта -> 50070

Имя пользователя -> cloudera

пароль -> клоудера

Но это не работает. Может кто-нибудь предложить, пожалуйста, подключить его лучше или как импортировать пакет "HdfsClient" в Python 3.

Answer 1

HDFSClient устарела. Вы можете использовать pyarrow.hdfs.connect, Также попробуйте pip freeze чтобы увидеть, установлена ​​ли соответствующая библиотека в вашей среде Python или нет. ех.

from pyarrow import hdfs
hdfs.connect('192.168.0.119', 50070, 'cloudera', driver='libhdfs')