Как я могу указать больше памяти для работы в Cloud ML Engine

Question

Я отправил учебное задание в Cloud ML Engine, но оно провалилось из-за ошибки нехватки памяти. Как я могу указать больше памяти для моей работы?

Answer 1

Если в задании Cloud ML Engine не указан параметр --scale-level, вы используете BASIC, который представляет собой компьютер с одним процессором и 4 ГБ памяти.

Чтобы использовать 8-процессорный компьютер с 52 ГБ памяти:

(1) Создайте файл с именем largemachine.yaml с этим содержимым

trainingInput:
  scaleTier: CUSTOM
  masterType: large_model

(2) Добавьте это к вашей заявке на работу ml-engine:

gcloud ml-engine jobs submit training $JOB_NAME \
  ...
  --scale-tier=CUSTOM \
  --config=largemachine.yaml \
  -- \
  ...

См. Эту страницу для других типов компьютеров (включая типы графических процессоров), которые вы можете использовать: https://cloud.google.com/ml-engine/docs/tensorflow/machine-types