Интеграция Databricks-GitHub, автоматическое добавление всех записных книжек в хранилище

Question

Я пытаюсь настроить интеграцию GitHub для Databricks.
У нас есть сотни ноутбуков, и было бы утомительно добавлять каждый ноутбук вручную в репо.

Есть ли способ автоматически фиксировать и переносить все записные книжки из блоков данных в хранилище?

Answer 1

Так как никто не ответил на это в течение 3 месяцев, я выложу свое собственное решение.

Под /Shared/ dir в блоке данных у нас есть записные книжки, которые должны быть синхронизированы с хранилищем под notebooks/Shared/,
Я запускаю этот скрипт на регулярной основе, таким образом сохраняя все ноутбуки в актуальном состоянии в репо.

databricks workspace export_dir /Shared ./notebooks/Shared -o
git add --all
git commit -m "shared notebooks updated"
git push

-o флаг для переопределения существующих ноутбуков с последней версией.

Более подробная информация здесь: https://databricks.com/blog/2017/11/08/introducing-command-line-interface-for-databricks-developers.html

Обратите внимание, что сначала вы должны установить и настроить databricks-cli на вашем компьютере: https://docs.databricks.com/user-guide/dev-tools/databricks-cli.html