очистка артефактов после рабочего процесса с помощью argo и minio
У нас возникли трудности с очисткой артефактов Argo Workflows после запуска рабочего процесса.
У нас есть этап предварительной обработки, который создает файл h5, который мы сохраняем как артефакт Argo в корзине Minio s3.
Затем этот артефакт передается на наш этап обучения (этап является компонентом рабочего процесса Argo), но он нам не нужен после завершения этапа обучения.
На этом этапе обучения мы действительно хотим, чтобы артефакт журнала, созданный Argo, сохранялся, поэтому мы не можем удалить всю папку.
Кажется, не существует способа по умолчанию для очистки артефактов после рабочего процесса, поэтому мы выдвинули гипотезу с использованием задания cron.
Проблема заключается в определении того, какие папки следует удалить (они названы в честь модулей, созданных для предыдущих шагов), а также в том, как лучше всего получить доступ к нашему модулю Minio и удалить файлы.
Какие-либо предложения?