Перезапустите задание конвейера данных aws в отмененном состоянии.
Я настроил задание конвейера данных, которое запускается каждую ночь в 2 часа ночи. Задание читает все файлы из S3, которые были созданы в предыдущий день, и выполняет некоторую обработку. Я использую scheduleStartTime задания конвейера данных, чтобы выяснить, какие файлы в S3 мне нужно обработать.
Тем не менее, иногда это задание не выполняется (скажем, из-за достигнутого предела ec2 или какой-то другой проблемы). Теперь мой вопрос, я обнаружу это через несколько дней. Я иду к консоли, и эта работа находится в состоянии Отменено. Есть возможность перезапустить.
Принимает ли повторный запуск scheduleStartTime с прошедшего дня или дня, когда я перезапустил его?
Прямо сейчас у меня есть задание по требованию, где я должен жестко запрограммировать путь S3 в те дни, когда это задание может упасть, и выполнять свою обработку.
Есть ли лучший способ для повторного запуска прошлых заданий конвейера данных, когда он использует неудавшееся задание scheduleStartTime?