Конфигурация оболочки AWS Glue Python DPU
Изменяется ли настройка 1 dpu, когда я использую оболочку glue python вместо glue spark?. Недавно я увидел сообщение " Максимальное количество одновременных задач в 1 DPU в AWS Glue", и я увидел, что речь идет об искре клея, но не об оболочке python aws glue, поэтому я сомневаюсь.
1 ответ
Согласно этому документу, для задания AWS Glue типа оболочки Python можно выделить 1 DPU или 0,0625 DPU. По умолчанию AWS Glue выделяет 0,0625 DPU для каждого задания оболочки Python.
Вам выставляется счет в размере 0,44 доллара США за DPU-час с шагом в 1 секунду, округленным до ближайшей секунды, с минимальной продолжительностью 1 минута для каждого задания типа оболочки Python.
Один ППН обеспечивает обработку мощности, который состоит из 4 -х виртуальных ЦП в вычислительных и 16 Гб памяти в соответствии с этим.
На максимальном уровне вы можете предоставить 1 DPU, поскольку для этого не требуется много ресурсов, поскольку не используется распределенная обработка. Вы пытаетесь дать более 1 DPU и столкнетесь с ошибкой, как показано ниже:
