Как отправить новые или обновленные файлы из озера данных Azure в папку файлов с помощью фабрики данных Azure

Я могу передавать данные с помощью инструмента копирования из озера данных Azure в локальные файловые папки с помощью фабрики данных Azure.

Но я просто хочу отправлять только обновленные или новые файлы из озера данных Azure в папку файлов (я имею в виду только дельта-извлечение) .

Я пробовал использовать параметр, но не смог указать параметры. Кто-нибудь из вас может подсказать, как этого добиться.

Источник

1 ответ

Я просто хочу отправлять только обновленные или новые файлы из озера данных Azure в папку файлов (я имею в виду только дельта-извлечение) .

Исходя из вашего описания, вы хотите реализовать инкрементную загрузку в источнике ADLS. Фактически это реализуется с помощью свойства файлов LastModifiedDate.

Вы можете запустить конвейер в расписании, чтобы вы могли регулярно загружать новые файлы.Подробнее см. По ссылкам ниже:

1. https://azure.microsoft.com/en-us/blog/incrementally-copy-new-files-by-lastmodifieddate-with-azure-data-factory/

2. https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview

Источник
Другие вопросы по тегам