Как обрабатывать или архитектуру, постепенное поступление данных в хранилище озера данных Azure?

Question

У меня есть два пользовательских кода DLL для изображений, связанных с IP-камерами.

dll-One: извлечение изображения из IP-камер и его сохранение в хранилище озера данных Azure.

Как:

• / ADLS / clinic1 / patientimages
• / ADLS / clinic2 / patientimages

dll-two: используйте это изображение, извлеките из него информацию и загрузите данные в таблицы RDBMS.

Так, например, в RDBMS, скажем, есть сущности dimpatient, dimclinic и factpatientVisit.

Для начала одноразовые данные можно экспортировать в определенное место в хранилище озера данных Azure.

Подобно:

• / ADLS / dimpatient
• / ADLS / dimclinic
• / ADLS / factpatientVisit

Вопрос. Как поместить инкрементные данные в один файл или как мы можем справиться с этой инкрементальной нагрузкой в ​​Azure data Analytics?

Это похоже на реализацию хранилища в Azure Data Analytics.

Примечание. Azure SQL db или любое другое хранилище, предлагаемое Azure, не требуется. Я имею в виду, зачем тратить деньги на другие службы Azure, если один тип хранилища имеет возможность хранить все типы данных.

adls - это имя моего хранилища ADLS.

Answer 1

Я не уверен, что полностью понимаю ваш вопрос, но вы можете организовать свои файлы данных в хранилище озера данных Azure или свои строки в многораздельных таблицах U-SQL по временному измерению, чтобы вы могли добавлять новые разделы / файлы для каждого приращения. В целом, мы рекомендуем, чтобы такие приращения имели существенные размеры, чтобы сохранить возможность масштабирования.