Как мы можем предоставить количество основных экземпляров в работе AWS Data Pipeline
Требование: восстановить таблицу DynamoDB из S3 Backup.
Мы создали задание Data Pipeline, а затем отредактировали раздел Resources в Architect Wizard.
Мы поместили 20 экземпляров в подсчет базовых экземпляров, но после активации задания конвейера данных был создан кластер EMR с одним главным и одним основным экземпляром.
Подскажите, пожалуйста, как увеличить количество ядер в разделе Ресурсы.
1 ответ
Возможно, вы достигли общего лимита ресурсов EC2. Вы можете запустить только 20 экземпляров On-Demand EC2, если только вы не запросили повышение лимита. Datapipeline признает этот предел. Вы должны увеличить лимит ресурсов EC2 Ondemand, используя ссылку ниже.
Аналогичный сценарий из документов:
Если вы настроили AWS Data Pipeline на автоматическое создание 20-узлового кластера Amazon EMR для обработки данных, а для вашей учетной записи AWS ограничение экземпляра EC2 установлено на 20, вы можете непреднамеренно исчерпать имеющиеся у вас ресурсы для обратной засыпки. В результате учтите эти ограничения на ресурсы в своем дизайне или соответственно увеличьте лимиты своего аккаунта.
Если вам требуется дополнительная емкость, вы можете использовать форму запроса Центра поддержки веб-служб Amazon для увеличения своей емкости.