Snowflake POC (загрузка данных из Microsoft AX on Premise в Snowflake)

Мне нужно сделать Proof of Concept (POC) со Snowflake, и я новичок в Snowflake и ищу совета.

Случаи применения:

  1. Необходимо загрузить данные для 7 таблиц (5 таблиц измерений и 2 таблицы фактов) из Microsoft Dynamics AX (On Premise) в Snowflake
  2. Две таблицы имеют большой размер и содержат более 150 миллионов записей.
  3. После загрузки данных в Snowflake необходимо создать модель звездообразной схемы в Snowflake около 7 таблиц.
  4. Собираюсь читать данные из Snowflake с помощью SSRS, Power BI или Excel.

Необходимо измерить:

  1. Время, затраченное на загрузку данных из источника в Snowflake (время, использованные ресурсы и т. Д.)
  2. а как производительность чтения?
  3. Безопасность на уровне строк: региональный менеджер просматривает отчет Power BI и должен видеть только его данные, а не другие данные регионального менеджера.

Пожалуйста, кто-нибудь может объяснить шаги, необходимые для достижения вышеуказанного? Было бы здорово, если бы вы могли предоставить несколько вспомогательных ссылок и сценариев.

Мне нужно сделать следующее:

  1. Загружать данные из таблиц AX в файлы (я думаю, что существует ограничение на размер файла: https://docs.snowflake.net/manuals/user-guide-getting-started.html)
  2. Загрузите эти файлы в Amazon S3 или в хранилище BLOB-объектов Azure и оттуда можете загрузить каждый файл в Snowflake.

2 ответа

Как насчет этого от Snowflake: How to Craft Your Data Warehouse POC
Вы должны зарегистрироваться, чтобы получить эту электронную книгу с 2019 года...

Кроме того, я настоятельно рекомендую сделать и то, и другое в вашем "Нужно ли мне делать?" раздел.

4 Варианты загрузки данных, доступные в Snowflake:Небольшие наборы данных:1) Веб-интерфейс / интерфейс Snowflake: для загрузки ограниченных данных (небольшие наборы данных)Массовая загрузка:2) SnowSQL (клиент CLI): интерфейс командной строки SnowSQL для загрузки массовых данных из файлов в облаках в снежинки. SnowSQL - это клиент командной строки следующего поколения для подключения к Snowflake для выполнения SQL-запросов и выполнения всех операций DDL и DML, включая загрузку данных и выгрузку данных из таблиц базы данных. Вам нужно установить и настроить SnowSQL на клиентской машине. 3) Snowpipe: Snowpipe - это служба непрерывного приема данных Snowflake. Snowpipe загружает данные в течение нескольких минут после того, как файлы добавлены на сцену и отправлены на загрузку 4) Сторонние инструменты ETL: такие как Matillion (SaaS), SSIS (IaaS и локально), Talend (SaaS) и т. Д. Создайте свои собственные пакеты интеграции данных для загрузки данных в снежинку.

Шаги:1. Загрузите данные из Source AX в Snowflake i) Поскольку мы являемся магазином MS, создайте пакет SSIS для загрузки данных из AX в файлы CSV (максимальный размер каждого файла должен быть 100 МБ) и поместить файлы в Azure Blob. Хранилище или AWS S3 ii) Используйте SnowSQL для загрузки данных из файла (хранилище BLOB-объектов Azure) в Snowflake ИЛИ iii) Используйте сторонний инструмент ETL SSIS для загрузки данных напрямую из источника в Snowflake без каких-либо преобразований, и как только данные будут сброшены в Snowflake, вы можете сделать трансформация.

Другие вопросы по тегам