Как удалить библиотеки, уже удаленные из рабочей области Azure Databricks

Question

После удаления библиотеки jar, добавленной с параметром "Установить автоматически на всех кластерах", библиотека все еще автоматически устанавливается на все кластеры в рабочей области. Мне нужно удалить или отключить режим автоматической установки библиотеки.

Я импортировал библиотеку из Maven в свое рабочее пространство Azure Databricks. Как только вышла новая версия, я добавил новую версию и просто удалил банку старой версии из рабочей области.

Старая версия была добавлена ​​в рабочую область с поведением "Автоматическая установка на все кластеры" и все еще устанавливается на все новые кластеры, созданные в рабочей области, даже если файл jar отсутствует в графическом интерфейсе. Поскольку jar пропал (из графического интерфейса), я не могу изменить поведение jar "Установить автоматически на все кластеры", и Databricks не позволяет вручную отключать автоматически установленные библиотеки из кластера (из представления кластера).

Я попытался прочитать ту же библиотеку (ту же версию) из Maven central и установить новый jar в кластер, чтобы посмотреть, не переопределит ли это старую установку, надеясь, что я смогу изменить поведение таким образом. К сожалению, когда я пытаюсь добавить недавно загруженную версию в кластер с уже установленной библиотекой, установка застревает на неопределенный срок.

Любые идеи о том, как исправить это, не настраивая новое рабочее пространство, были бы отличными.

Answer 1

Это ошибка в Databricks (и похоже, что она существует уже давно!). Если вы установили флажок Автоустановка на всех кластерах, а затем удалили общие библиотеки, он установит его на все новые кластеры и не может быть удален.

Чтобы удалить его, перейдите в Shared Workspace и создайте новую библиотеку. Введите точно такой же пакет и нажмите "Создать". На следующем экране теперь можно снять флажок "Автоматически устанавливать на все кластеры" и удалить его из кластеров, где он уже установлен. Затем вы можете переместить новую библиотеку в корзину.

Престижность этого поста на форумах Databricks для выяснения этого: https://forums.databricks.com/questions/16400/remove-auto-install-library-thats-already-been-del.html

Answer 2

Пара вариантов. Сначала проверьте вкладку "Библиотека" в кластерах и посмотрите, сможете ли вы удалить ее оттуда. Если не открыть блокнот и запустить:

%fs ls "/FileStore/jars/

Здесь кешируются библиотеки. Если вы можете определить, какая из них является вашей библиотекой, вы можете удалить ее и перезапустить кластер.