Автоматизируйте предварительную обработку данных в AWS sagemaker

Question

Существует ли способ автоматизировать предварительную обработку данных на Sagemaker на еженедельной основе, предварительная обработка может включать в себя множество простых преобразований данных в мегабайтах из S3.

Моя идея автоматизации похожа на запуск скрипта или экземпляра ноутбука, который может запускаться еженедельно

Answer 1

Рассматривали ли вы использовать Lambda + CloudWatch Event/Rule? Вы можете написать лямбда-функцию, которая создаст задание SageMaker и создаст правило события CloudWatch, чтобы запускать его раз в неделю. Поэтому вам не нужно, чтобы экземпляр ноутбука работал 24 часа в сутки.

Вот пример - https://docs.aws.amazon.com/AmazonCloudWatch/latest/events/RunLambdaSchedule.html

Надеюсь это поможет!