Можно ли создать кластер EMR с автоматическим масштабированием с использованием конвейера данных
Я новичок в AWS. Я создал кластер EMR, используя политику автоматического масштабирования через консоль AWS. Я также создал конвейер данных, который может использовать этот кластер для выполнения действий.
Я также могу динамически создавать кластер EMR через конвейер данных. Но при этом я не могу назначить правило автоматического масштабирования для кластера EMR. Есть ли способ настроить роль автоматического масштабирования и другие необходимые конфигурации для кластера EMR через конвейер данных
1 ответ
AWS Data Pipeline не может запустить кластер Amazon EMR с автоматическим масштабированием.
И не является действительно необходимым.
AWS Data Pipeline запускает кластер Amazon EMR для выполнения некоторой работы, например преобразования данных или перемещения данных между системами. После выполнения такой задачи кластер завершается. Это известно как временный кластер.
Это совершенно другой вариант использования для длительного кластера Amazon EMR, который принимает специальные задания в течение дня и может использовать автоматическое масштабирование для добавления / удаления емкости в зависимости от потребности.
Таким образом, на самом деле нет необходимости добавлять автоматическое масштабирование в кластер EMR, запущенный Data Pipeline. Вместо этого укажите емкость заранее, и она будет использоваться на протяжении всей работы.