Как перезапустить сервис Spark в EMR после изменения настроек conf?

Question

Я использую EMR-5.9.0 и после изменения некоторых файлов конфигурации я хочу перезапустить службу, чтобы увидеть эффект. Как мне этого добиться?

Я попытался найти название службы, используя список initctl, как я видел в других ответах, но не повезло...

Answer 1

Поскольку Spark работает как приложение на Hadoop Yarn, вы можете попробовать

 sudo stop hadoop-yarn-resourcemanager  
 sudo start hadoop-yarn-resourcemanager  

Если вы имели в виду Spark History Server, то вы можете использовать

 sudo stop spark-history-server  
 sudo start spark-history-server  

Проверка статуса услуг может быть выполнена с помощью

sudo status hadoop-yarn-resourcemanager
sudo status spark-history-server

Answer 2

В кластерах EMR 5.x вы также можете:

[hadoop@ip-10-0-2-93 conf]$ initctl list | grep yarn
hadoop-yarn-timelineserver start/running, process 10632
hadoop-yarn-resourcemanager start/running, process 10771
hadoop-yarn-proxyserver start/running, process 10508

[hadoop@ip-10-0-2-93 conf]$ sudo stop hadoop-yarn-resourcemanager
hadoop-yarn-resourcemanager stop/waiting

[hadoop@ip-10-0-2-93 conf]$ sudo start hadoop-yarn-resourcemanager
hadoop-yarn-resourcemanager start/running, process 1591

[hadoop@ip-10-0-2-93 conf]$ initctl list | grep yarn
hadoop-yarn-timelineserver start/running, process 10632
hadoop-yarn-resourcemanager start/running, process 1591
hadoop-yarn-proxyserver start/running, process 10508