Могу ли я использовать Master Data Services для импорта данных через надстройку Excel? В основном меры! (Числа / Значение)

Могу ли я использовать Master Data Services для импорта данных через надстройку Excel в основном меры (числа / значения)

Укороченная версия:

Ищите лучший способ удобного ввода данных в таблицу SQl-Server с немедленной обратной связью для пользователя.

Настройка: У нас есть Datawarehouse (dwh) на основе SQL Server 2012. Все настроено с помощью Инструментов из MS BI Suite (SSIS, SSAS, SSRS и т. Д.). Отделы получают доступ к BI-кубам через Excel. Они предпочитают делать все в Excel, если это возможно.
Большинство источников для DWH являются базами данных, но один вариант использования имеет Excel-файлы в качестве источника.

Вариант использования с файлами Excel в качестве источника

Как есть:

У нас есть несколько Excel-файлов, размещенных в сетевой папке. Каждый файл Excel редактируется другим пользователем. Файлы попадают в процесс SSIS, циклически просматривая файлы ежедневно.

The contents of the Excel-files is like this (fake data):

Header: Category | Product | Type | ... | Month     | abc_costs | xyz_costs | abc_budget | xyz_budget | ...
Data:       A        Soup    Beta         2017-06       16656      89233        4567          34333

Поток данных:

   source.Excel -> 1.->  dwh.Stage -> 2.-> dwh.intermediateLayer -> 3.-> dwh.FactTable
  • Шаг с 1 по 3 - это ETL-пакеты служб SSIS.
  • Шаг 3 ищет суррогатные ключи из измерений и сохраняет их как внешние ключи в таблице фактов на основе "кодов", предоставленных в Excel (например, код может быть "A" для категории).

Проблемы:

  • Шаг 1 "прием Excel-файлов" очень подвержен ошибкам.
  • Пользователи могут легко ввести неправильные коды и цифры в неправильном формате.
  • Сообщения об ошибках в Excel-источниках часто приводят к ошибкам, а отладка Excel-источников в SSIS становится проблемой.
  • Иногда пользователи оставляют файл Excel открытым, а временный файл блокировки блокирует весь процесс приема.

Требования

  • Я хочу избежать проблем, возникающих при приеме Excel-файлов.
  • Должна быть возможность проверки ввода данных и быстрой обратной связи с пользователем.
  • Будучи BI-разработчиками, мы постараемся избежать решения, которое в первую очередь включало бы веб-разработку.
  • Excel-подобный ввод предпочитают пользователи.

Идея:

Поскольку Master Data Services поставляется с надстройкой Excel, которая позволяет манипулировать данными, мы подумали, что это можно использовать и для этого сценария ввода данных. Это дало бы нам возможность одновременно тестировать MDS.

Но я не уверен, подходит ли этот вариант использования для Master-Data-Services.

Проводя исследование, я не смог найти ни одного примера MDS, показывающего, как меры вводятся через Excel-addin [примеры о моделировании и управлении объектами].

  1. Кто-нибудь может уточнить, подходит ли этот вариант использования к MDS?
  2. Если это не подходит для MDS? Что может быть хорошим выбором, который вписывается в эту BI-экосистему? (предпочтительнее на основе Excel). [Lightswitch, Infopath, Powerapps или, если нет опции Webdevelopment -> Я немного запутался по поводу опций]
Источник

2 ответа

Решение

Помните, что сущность в MDS не представляет таблицу в базе данных. Это означает, что при загрузке данных в MDS, например, существуют базовые таблицы, заполненные данными и метаданными, чтобы отслеживать изменения.

Использование плагина Excel для импорта данных в MDS, а затем для предоставления данных в другую систему может работать, учитывая следующее:

  • Объем данных. Плагин Excel обрабатывает большие объемы партиями. Так что процесс может стать утомительным.
  • Настройка модели. Вам необходимо правильно настроить модель с четко определенными объектами и атрибутами. Архитектура MDS - это "хранилище псевдоданных", в котором сущности можно рассматривать как "факты", а атрибуты на основе доменов - "измерения". Это упрощение системы, но как только вы определите модель, вы поймете, что я имею в виду.
  • Приятным функционалом является просмотр подписки. Если у вас есть данные в MDS, вы можете предоставить их представлениям подписки, которые объединяют сущности с атрибутами на основе домена в одном представлении.

Учитывая ваши требования:

  • Я хочу избежать проблем, возникающих при приеме Excel-файлов.

    Это возможно, просто имейте в виду, что плагин Excel имеет свои правила. Таким образом, Excel эффективно становится "формой ввода" MDS, где данные вводятся и фиксируются. Пользователю необходимо настроить соединение с MDS с помощью диспетчера учетных данных и т. Д.

  • Должна быть возможность проверки ввода данных и быстрой обратной связи с пользователем.

    Это можно легко сделать с помощью атрибутов на основе домена и бизнес-правил.

  • Будучи BI-разработчиками, мы постараемся избежать решения, которое в первую очередь включало бы веб-разработку. Excel-подобный ввод предпочитают пользователи.

    Имейте в виду, плагин MDS определяет, как выглядит и чувствует себя лист Excel. Никакая настройка не возможна. Таким образом, ваши определения сущностей должны быть правильными, чтобы облегчить взаимодействие с пользователем.

Источник

Я работал над проектом DWH, в котором экземпляр MDS использовался как единый источник правды для многих измерений. Большая часть данных была доступна только для чтения (списки штатов, стран, валют и т. Д.) И поддерживалась через плагин Excel. Были также некоторые более изменчивые вещи, которые были импортированы с помощью процедур импорта MDS.

Чтобы предоставить данные MDS хранилищу, были созданы представления, которые указывали непосредственно на базу данных MDS. Я даже написал сценарий SQL, который обновлял эти представления в зависимости от метаданных MDS и настроек, хранящихся на складе. К сожалению, у меня его больше нет, но там все довольно прозрачно.

Все было очень живо. Не могу вспомнить какие-либо проблемы с запросами, которые включали эти представления MDS.

Источник
Другие вопросы по тегам