Информация о приложении -> экспорт -> Архитектура хранилища данных Power BI
Наша команда совсем недавно начала использовать Application Insights для добавления телеметрических данных в наше приложение для Windows. Эти данные отправляются почти исключительно в форме событий (а не просмотров страниц и т. Д.). Информация о приложении полезна только до определенного момента; чтобы ответить на что-либо, кроме основных вопросов, мы экспортируем в хранилище Azure, а затем используем Power BI.
Мой вопрос касается структуры данных. Мы новички в аналитике в целом и только что читали о структурах звезд / снежинок для хранилищ данных. Похоже, что это может помочь в предоставлении ответов, которые нам нужны.
Мой вопрос довольно прост: это правильный подход? Были ли у нас сложные вещи? В настоящее время у меня сложилось мнение, что лучшим подходом будет получение последних данных и их преобразование в базу данных SQL с фактами и измерениями для запросов Power BI. Имеет ли это смысл? Это то, что делают другие люди? Мы поняли, что это больше работы, чем мы изначально думали.
4 ответа
Обязательно следуйте ответу Майкла Милируда: если у вашего исходного продукта есть подходящая аналитика, вам может не понадобиться хранилище данных.
Традиционно хранилище данных имеет три преимущества: интеграция информации из разных источников данных, как внутренних, так и внешних; данные очищаются и стандартизируются между источниками, а история изменений с течением времени обеспечивает доступность данных в их историческом контексте.
То, что вы описываете, становится очень распространенным случаем в хранилищах данных, где звездные схемы создаются для доступа такими инструментами, как PowerBI, Qlik или Tableau. В меньших сценариях все хранилище может храниться в механизме данных PowerBI, но большие данные, возможно, должны проходить через запросы.
В вашем сценарии вас могут заинтересовать некоторые инструменты, которые, по-видимому, обрабатывают по крайней мере часть миграции данных Application Insights:
Наш продукт Ajilius автоматизирует разработку хранилищ данных звездной схемы, сокращая время разработки до нескольких дней или недель. Есть ряд других продуктов, выполняющих аналогичную работу, и мы поддерживаем полный список отраслевых конкурентов, чтобы помочь вам выбрать.
В итоге мы не отправляли события из нашего приложения WinForms непосредственно в AI, а в Azure EventHub.
Затем мы создали задание, которое читает из концентратора событий и отправляет данные
- ИИ используя SDK
- Хранение BLOB-объектов для последующей обработки
- Хранилище таблиц Azure для создания отчетов powerbi
Конечно, вы можете добавить больше направлений.
Таким образом, в основном все события отправляются в один пункт назначения, а оттуда хранятся во многих пунктах назначения, каждое для своих собственных целей. Мы определенно не хотели ограничиваться 7 днями необработанных данных, и поскольку хранилище дешевое, а хранилище больших двоичных объектов можно использовать во многих аналитических решениях Azure и Microsoft.
Eventhub также может быть связан с потоковой аналитикой.
Дополнительную информацию о концентраторах событий можно найти по адресу https://azure.microsoft.com/en-us/documentation/articles/event-hubs-csharp-ephcs-getstarted/
Я хотел бы продолжить с Power BI - на самом деле в него встроен очень сложный и мощный механизм интеграции и моделирования данных. Исторически я работал со службами интеграции и анализа SQL Server для этих задач - Power BI Desktop превосходит во многих аспектах. Подходы к проектированию остаются согласованными - схемы типа "звезда" и т. Д., Но вы строите их в памяти внутри PBI. Это более гибкий и гибкий способ.
Также вы знаете, что AI может быть подключен напрямую к PBI Web? Это подключается к вашим данным AI за считанные минуты и дает вам готовый к использованию контент PBI (информационные панели, отчеты, наборы данных). Вы можете настроить их и создавать новые отчеты из наборов данных.
https://powerbi.microsoft.com/en-us/documentation/powerbi-content-pack-application-insights/
Вы можете начать использовать недавно выпущенную функцию Application Insights Analytics. Теперь в Application Insights вы можете написать любой запрос, чтобы вы могли получить более полную информацию о ваших данных. Analytics запускает ваши запросы в считанные секунды, позволяет фильтровать / объединять / группировать по любому возможному свойству, а также вы можете запускать эти запросы из Power BI. Дополнительную информацию можно найти по адресу https://azure.microsoft.com/en-us/documentation/articles/app-insights-analytics/