Установите hadoopy в Google Composer

Question

Я использую google composer,

Как мы можем установить Hadoopy в google composer environment,

Эта страница содержит шаги для установки hadoopy на Linux

Github Clone

git clone https://github.com/bwhite/hadoopy.git
cd hadoopy
sudo python setup.py install

Установка PIP

sudo pip install -e git+https://github.com/bwhite/hadoopy#egg=hadoopy

Я не понимаю, как установить это в Google Composer Environment

Answer 1

Похоже, что пакет доступен в индексе пакетов Python. Таким образом, вы можете установить его через веб-интерфейс (среда вашего композитора> вкладка Pypi-пакеты> изменить> добавить <your_dependency>==<version>). Вы также можете сделать это через командную строку:

gcloud composer environments update ENVIRONMENT-NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location LOCATION

requirements.txt должен содержать что-то вроде:

hadoopy==0.6.0

Обратите внимание, что установка зависимости может быть довольно продолжительной (Composer должен перестроить образы Docker с помощью включенного пакета).

Если вы хотите добавить зависимость непосредственно из источников на Github, вам нужно будет выполнить шаги, описанные в документации: Установка локальной библиотеки Python.