Инкрементно копировать S3 в лазурную каплю
Я изучаю способы инкрементного копирования блобов S3 в лазурные капли. Я попробовал лазурную фабрику данных и не смог найти эту опцию.
У S3 есть миллионы объектов, и без инкрементной опции для ее завершения требуются часы.
Я открыт для изучения других инструментов / вариантов.
1 ответ
Если вам нужно делать ежедневное / почасовое пошаговое копирование, следует использовать запланированный триггерный триггер окна. Вот пример для ссылки. ADFv2 также поддерживает сжатие при копировании, вы можете указать тип и уровень сжатия для объекта s3, нажмите здесь для получения дополнительной информации.