Массовая загрузка файла JSON из s3 в Redshift с помощью инструмента Matillion ETL

Question

У меня есть 600k папок в папке s3 Каждая папка имеет уникальный идентификатор. Каждая папка имеет каждый файл JSON. Я хочу сохранить все записи из файла с именем папки в таблицу Redshift.

Я пытаюсь с файловым итератором и компонентом API в Matillion. Каждый файл занимает от 1 до 2 секунд для загрузки. Есть ли другой способ загрузки файлов из s3 в красное смещение, основанный на вышеупомянутом сценарии?