Восстановить модель классификации автоматически на основе обновленного набора данных

Question

Мы создали эксперимент в Azure ML Studio для прогнозирования некоторых операций планирования на основе системных данных и пользовательских данных. Системные данные состоят из времени ЦП, использования кучи и других системных параметров, в то время как пользовательские данные имеют активные сеансы пользователя и некоторые пользовательские данные. Наш эксперимент работает нормально и возвращает результаты, очень похожие на то, что мы ожидаем, но мы боремся со следующим: -

1) В нашем эксперименте не учитываются обновленные данные для обучения его моделям.

2) Каждый раз, когда мы должны загрузить данные и переучить модели вручную.

Интересно, действительно ли возможно передавать живые данные в лазурные эксперименты, используя некоторые веб-службы или базу данных Azure? Мы пытаемся обновить данные в файле CSV, который мы создали в хранилище Azure. Это, вероятно, решит наш первый запрос.

Теперь эти обновленные данные следует учитывать для периодического автоматического обучения модели.

Было бы здорово, если бы кто-то мог помочь нам с этим?

Примечание. Мы используем нашу модель, используя веб-сервисы, созданные с помощью студии Azure.

Answer 1

Вам необходимо использовать фабрику данных Azure для переобучения модели ML.

Вам необходимо создать конвейер с действиями ML Batch Execution и ML Update Resource, а для вызова модели ML вам необходимо настроить конечную точку на веб-сервисе.

Вот несколько ссылок, чтобы помочь вам:

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-machine-learning

https://docs.microsoft.com/en-us/azure/data-factory/update-machine-learning-models

Answer 2

Шаг 1. Создание 2 веб-служб с помощью Azure ML Studio (один для модели обучения и один для модели прогнозирования)

Шаг 2. Создайте конечную точку через веб-службу со ссылкой Управление конечной точкой в ​​Azure ML Studio для каждого веб-службы

Шаг 3. Создайте 2 новых соединения в фабрике данных Azure / найдите Azure ML (на вкладке вычислений) и скопируйте ключ конечной точки и ключ API, которые вы найдете на вкладке Потребление в конфигурации конечной точки (той, которую вы создали на шаге 2) Ключ конечной точки = ключ пакетных запросов и ключ API = первичный ключ

Установите параметр "Отключить ресурс обновления для конечной точки модели обучения". Установите параметр "Включить ресурс обновления" для конечной точки модели прогнозирования (конечная точка ресурса обновления = ключ "Patch").

Шаг 4: Создайте конвейер с двумя действиями ( ML Batch Execution и ML Update Resource). Установите службу AML Linked для ML ML Batch Execution с подключением, для которого отключен Update Resource.

Установите связанную службу AML для ресурса обновлений ML с подключением, для которого включен ресурс обновления.

Шаг 5: Установите входы и выходы веб-службы