Распакуйте файлы в папки S3, используя Matillion
У нас есть ежедневные файлы, хранящиеся в виде архивных файлов в S3.
Структура папок и файлов S3 выглядит следующим образом:
1-8-2019
a.zip
2-8-2019
a.zip
Zip-файлы содержат несколько разных файлов (с разными именами). Нам нужно распаковать файлы внутри соответствующих папок и загрузить один из файлов в снежинку.
Что я смог сделать:
- Я смог распаковать файлы, указывающие только на 1 папку.
- Я использовал инструмент передачи данных Matillion, чтобы распаковать и сжать каждый извлеченный файл в gzip, что помогло очень быстро загрузить данные в снежинку.
Что я не смог сделать:
- Рекурсивный доступ к папке внутри S3. (Передача данных может рекурсивный доступ только для sftp).
- Перебрать каждую папку:
- (а) Распакуйте архив
- (б) сжать один из файлов
- (c) Загрузить в таблицу снежинок
- Цикл все дни в Amazon S3