hive yarn - изменить номер удаленного порта (--remote-port) для Spark submit
Мы используем Hadoop 2.7.7, Spark 2.4.4 и Hive версии 2.3.3. Hive настроен на использование Spark в качестве движка, а режим развертывания - пряжа; кластер.
Интерфейс командной строки улья развернут в отдельном сегменте сети, из которого нам ограничен (зависящий от порта) доступ к / из YARN.
Мы заметили, что при отправке запроса в улье генерируемый spark-submit имеет следующий аргумент в фоновом режиме: --remote-host --remote-port и т. Д.
Имя хоста (--remote-host) добавляется к имени сервера улья, а порт (--remote-port) генерируется случайным образом.
Мы хотели бы контролировать номера портов (чтобы можно было соответствующим образом изменить наши правила брандмауэра), которые генерирует оболочка улья.
Любые мысли очень ценятся.
Ниже приведен сгенерированный образец запроса из интерфейса командной строки улья.
spark-submit --executor-cores 1 --executor-memory 2g --num-executors 5 --properties-file /tmp/spark-submit.8964692037304815807.properties --class org.apache.hive.spark.client.RemoteDriver /usr/local/apache-hive-2.3.3-bin/lib/hive-exec-2.3.3.jar --remote-host hiveserver-hostname --remote-port 46342 --conf hive.spark.client.connect.timeout=30000 --conf hive.spark.client.server.connect.timeout=60000 --conf hive.spark.client.channel.log.level=null --conf hive.spark.client.rpc.max.size=1262485504 --conf hive.spark.client.rpc.threads=8 --conf hive.spark.client.secret.bits=256 --conf hive.spark.client.rpc.server.address=null
Шрини.