Как установить собственную библиотеку в Jupyter notebook GCP?

Question

Я разрабатываю библиотеку Python, и мне нужно сделать ее доступной в GCP Notebook.

Является ли это возможным? Как?

Детали:

• Я использую Pipenv для управления зависимостями моей библиотеки. В настоящее время исходный код моей библиотеки существует как в локальном, так и в частном репозитории git. Так что в PyPI этого нет.
• В моем коде есть несколько файлов модулей во вложенных каталогах.
• В PyPI существуют зависимости моей библиотеки.

• При использовании Pipenv зависимости описаны в файле Pipefile.

• Это тип моего экземпляра виртуальной машины Jupyter: https://cloud.google.com/deep-learning-vm

• И вот интересная структура, которую я смог найти с помощью SSH из консоли Google:

$ ls /opt/deeplearning/ 
bin  binaries  deps  jupyter  metadata  proxy-agent-config.json  restriction  src  workspace

• Я планирую установить свою библиотеку (используя pip или что-то еще), чтобы иметь возможность импортировать свои модули из ноутбуков.
• Мне нужно, чтобы при установке библиотеки были установлены все зависимости моей библиотеки.
• Если индекс пакетов Python является общедоступным, я не хочу публиковать в нем свою библиотеку как проприетарную.

Спасибо.

Answer 1

Из вашего вопроса я понял: вы пишете свой собственный модуль python, который зависит от многих сторонних пакетов python (можно установить с помощью pip).

В этой ситуации я бы, вероятно, заморозил пипсы в реальной среде, где модуль загружает все идеально.

pip freeze > requirements.txt (Будет создан файл requirements.txt со всеми модулями / библиотеками зависимостей)

Теперь, оказавшись в записной книжке jupyter, вы можете использовать следующую команду, чтобы сначала установить все требования.

(Выполните следующее в ячейке кода записной книжки)

# Install a pip package in the current Jupyter kernel
import sys
!{sys.executable} -m pip install -r requirements.txt