Подключите предварительно записную книжку jypyter к серверу отслеживания mlflow в Azure

Question

Можно ли подключить ноутбук, работающий в помещении, к серверу отслеживания mlflow, который является частью рабочей области Azure Databricks? Сохранены ли все локальные журналы и отслеживание в Azure?

Answer 1

У меня была похожая проблема, я использовал python и решил ее следующим образом:

1. Установите библиотеки mlflow и datbricks-cli.
2. Определите следующие переменные env: DATABRICKS_HOST (URL-адрес рабочей области блоков данных: https://region.azuredatabricks.net/) и DATABRICKS_TOKEN
3. Определите клиента mlflow:

mlflow_client = mlflow.tracking.MlflowClient(tracking_uri='databricks')

5. Используйте клиент mlflow_client для регистрации, сохранения и т. Д.

для получения дополнительной информации вы можете посмотреть раздел "Вход на сервер отслеживания из записной книжки" здесь.

Answer 2

Мне не удалось настроить доступ к серверу отслеживания MLflow извне Databricks.

Я сделал следующее: 1. Установил библиотеки mlflow и datbricks-cli. 2. Создал файл учетных данных, используяdatabricks configure --tokenкак описано здесь (я тестировал это сdatabricks workspace ls и соединение работает) 3. Ставить трекинг uri mlflow.set_tracking_uri("databricks") в блокноте

Но при настройке эксперимента в блокноте так: mlflow.set_experiment('/Users/[e-mail]/my-experiment') Я продолжаю получать эту ошибку: JSONDecodeError: Ожидаемое значение: строка 1 столбец 1 (символ 0)

Есть идеи, как это решить?

Answer 3

Следуя инструкциям в принятом ответе, я не смог использовать объект mlflow_client. То, что сработало, это настройка отслеживания URI непосредственно на mlflow:

mlflow.set_tracking_uri('databricks')