Я могу уменьшить лазурный кластер hdinsight?

Question

Я создал Azure HD с 8-узловым кластером. я бегу запрос улья, который занимает все рабочие узлы. когда я проверяю список узлов пряжи, появляется следующее:

Node-Id             Node-State Node-Http-Address       No-of-Running-Containers
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8
X.X.X.X:00050        RUNNING X.X.X.X:00060                 8

через несколько часов маппер был завершен и 2 редуктора работают, как показано ниже:

Node-Id             Node-State Node-Http-Address       No-of-Running-Containers
X.X.X.X:00050        RUNNING X.X.X.X:00060                 0
X.X.X.X:00050        RUNNING X.X.X.X:00060                 1
X.X.X.X:00050        RUNNING X.X.X.X:00060                 0
X.X.X.X:00050        RUNNING X.X.X.X:00060                 0
X.X.X.X:00050        RUNNING X.X.X.X:00060                 1
X.X.X.X:00050        RUNNING X.X.X.X:00060                 0
X.X.X.X:00050        RUNNING X.X.X.X:00060                 0
X.X.X.X:00050        RUNNING X.X.X.X:00060                 0

Придя на этот этап, сможем ли мы уменьшить масштаб кластера, который не влияет на работающие 2 рабочих узла?

Answer 1

AFAIK существует два типа автоматического масштабирования, которые возможны с кластером HDInsights, которыми вы можете управлять с портала Azure: 1.) База расписания. - как по заданному расписанию (8 вечера - 5 утра - только 2 узла) 2.) Загрузить базу - удалить узлы, если они не используются в течение 30 минут или около того.

https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-autoscale-clusters

Я думаю, вы можете использовать автоматическое масштабирование на основе нагрузки для своего случая.

Answer 2

Лично я не пытался масштабировать работающий кластер HDInsight, но я прочитал официальную документацию по поддерживаемым операциям масштабирования кластера (пока выполняются задания). Поддерживаемые приложения:

• Hadoop
• Hbase
• искра

Вероятно, вам не следует масштабировать с запущенными запросами Hive, потому что (1) Hive отсутствует в списке, и (2) в документе описывается, что происходит с заданиями Hadoop, если вы выполняете масштабирование с работающими заданиями, как показано ниже. ИМХО, это может случиться и с работой в Ульях.

Когда кластер Hadoop сокращается за счет уменьшения количества узлов данных, некоторые службы в кластере перезапускаются. Это приводит к сбою всех запущенных и ожидающих заданий по завершении операции масштабирования. Однако вы можете повторно отправить задания после завершения операции.