Максимальное количество одновременных задач в 1 DPU в AWS Glue

Question

Стандартный DPU в AWS Glue поставляется с 4 виртуальными ЦП и 2 исполнителями. Меня смущает максимальное количество одновременных задач, которые могут выполняться параллельно с этой конфигурацией. Это 4 или 8 на одном DPU с 4vcpu и 2 исполнителями?

Answer 1

У меня было аналогичное обсуждение этого вопроса с группой поддержки AWS Glue, я поделюсь с вами тем, что они рассказали мне о конфигурации Glue. Возьмем для примера конфигурацию Standard и G1.X.

Стандартная конфигурация DPU:

• 1 DPU зарезервирован для MasterNode
• 1 исполнитель зарезервирован для Driver/ApplicationMaster
• Каждый DPU настроен с 2 исполнителями
• Каждый исполнитель настроен на 5,5 ГБ памяти
• Каждый исполнитель настроен на 4 ядра

Конфигурация G.1X WorkerType:

• 1 DPU добавлен для MasterNode
• 1 DPU зарезервирован для Driver/ApplicationMaster
• Каждый воркер настроен с 1 исполнителем
• Каждый исполнитель настроен на 10 ГБ памяти
• Каждый исполнитель настроен на 8 ядер

Например, если у нас есть задание со стандартной конфигурацией с 21 DPU, значит, у нас есть:

• 1 DPU зарезервирован для Master
• 20 ДПУ х 2 = 40 исполнителей
• 1 Драйвер /AM - 40 исполнителей = 39 исполнителей

В итоге получается 156 ядер. Это означает, что у вашей работы есть 156 слотов для выполнения. Если, например, вы читаете файлы из S3, это означает, что вы сможете принимать 156 входных файлов параллельно.

Надеюсь, это поможет.