AWS Data pipe для запуска заданий emr, хранящихся в Git
Я хочу использовать aws datapipeline для планирования заданий emr. Я застрял на шаге, когда каждый раз, когда активируется новая линия данных, мне нужно скопировать код с git на сервер, установить некоторые модули pip и запустить несколько заданий один за другим. Я проверил сеть и не нашел ни одного учебника или примера, подтверждающих то же самое.
Могут ли некоторые объяснить, как я должен поступить с этим. Заранее спасибо.