Как мне динамически обновить cpu/ram/ диск рабочего в dataproc?
Я создал кластер по умолчанию (4 виртуальных ЦП, 15 ГБ ОЗУ) в Google DataProc. Проработав несколько свиноводческих работ, в кластере было 2-3 нездоровых узла. Поэтому я модернизировал vCPU рабочей виртуальной машины (от 4 до 8 vCPU), Ram(от 15 до 30 ГБ) и диск. Но в веб-интерфейсе Hadoop показывалось, что аппаратное обеспечение рабочего узла не изменилось, он по-прежнему отображал исходные монтирования vCPU/Ram/Disk.
Как я могу динамически обновить cpu/ram/ диск рабочего в dataproc?
Благодарю.
2 ответа
Dataproc не поддерживает обновление рабочих на запущенных кластерах. Для обновления предлагаем воссоздать кластер. Вы также можете добавить дополнительных работников с помощью команды gcloud update кластеров.
Можно обновить рабочий тип, остановив каждый рабочий экземпляр, обновив и перезапустив. Тем не менее, существует ряд свойств hadoop/spark, которые необходимо изменить, чтобы приспособить контейнеры разных размеров.
Мы должны остановить кластер и можем отредактировать конфигурацию, чтобы обновить ЦП/ОЗУ.