Вычисление вспомогательных столбцов в R-скрипте на машинном обучении Azure, чтобы их можно было позже добавить в табличную модель
Поэтому я создаю поток для импорта данных, чтобы некоторые столбцы агрегирования могли быть загружены в базу данных Azure Sql, а затем в табличную модель. Теперь я бы описал поток, чтобы кто-то мог рассказать об этом, о плюсах и минусах.
На данном этапе развития поток:
1.
Пользователь импортирует файл CSV в мой веб-сервис (в ASP.NET CORE 2.1) в базу данных Azure Sql, для импорта я использую Sql Bulk Library в.NET Core. Веб-сервис и база данных будут расположены на сервере в Azure. Некоторые из данных занимают около 20 минут.
2.
Когда импорт данных будет завершен, я звоню в веб-службу машинного обучения Azure, которая будет вычислять вспомогательные столбцы, чтобы в дальнейшем с помощью запросов многомерных выражений я мог получать данные из табличной модели проще и эффективнее. В этих столбцах помощи будет указано, были ли пользователи активны в предыдущем месяце или нет, например.
3.
Когда скрипт R завершает вычисления, он обновляет таблицу базы данных Azure Sql новыми столбцами.
4.
Когда столбцы обновляются в базе данных, я говорю службе анализа Azure обновить базу данных (не в основной версии.net, поскольку она не поддерживает ADOM.NET). Поэтому я создал другую веб-службу (.NET 4.7), чтобы я мог из веб-сервис автоматически обновляет его.
5.
Итак, наконец, новые данные появляются в табличной модели, чтобы я мог получать информацию о данных, используя запросы MDX с библиотекой ADOM.NET.
Пожалуйста, скажите мне, если есть лучшее решение для этого потока.
1 ответ
База данных SQL Azure поддерживает выполнение в памяти R для разработки функций, моделей обучения и вывода. Это в настоящее время в предварительном просмотре, но скоро будет GA: https://docs.microsoft.com/en-us/azure/sql-database/sql-database-machine-learning-services-overview
Также на //BUILD Microsoft анонсировала профиль производительности без сервера для БД Azure SQL, который идеально подходит для таких низкочастотных заданий, как этот.
Это, надеюсь, может значительно упростить ваш рабочий процесс.