Разработка пакетного задания для обработки нескольких файлов в папке FTP
Я хочу создать пакетное задание для обработки нескольких zip-файлов в папке. По сути, входной zip-файл содержит структуру каталогов, а последний каталог содержит CSV-файл и набор PDF-файлов. Задание должно взять zip-файл, распаковать и загрузить во внешнюю систему и базу данных на основе индексного файла в папке конечного узла.
Пример: структура входного zip-файла
input1.zip
- папка 1
-> Папка2
-> abc.pdf
...
...
...
-> cdf.pdf
-> metadata.csv
Я могу добавить интеграцию Spring и вызвать задание сразу после завершения копирования по FTP. Тем не менее, мой вопрос заключается в том, как мне спроектировать задание для сбора нескольких zip-файлов и обеспечения их параллельной обработки.
Поскольку обработка каждого zip-файла занимает около 10 минут, мне нужно несколько экземпляров для эффективной обработки zip-файлов.
Ценю любые предложения. Спасибо.