Задачи Apache Tez приостановлены на Мастере приложений

Question

У меня проблема с tez, при одновременном выполнении около 14 запросов некоторые из них получают задержки более 5 минут, но загрузка кластера составляет всего 14%.

Это то послание, о котором я говорю.

INFO SessionState: [HiveServer2-Background-Pool: Thread-322319]: Get Query Coordinator (AM)            308.84s

Моя конфигурация следующая:

      yarn.scheduler.maximum-allocation-mb=188000 
yarn.app.mapreduce.am.resource.mb = 16000 
tez.am.resource.memory.mb = 8000
hive.tez.container.size = 8192
tez.runtime.io.sort.mb 2048 
tez.am.launch.cmd-opts default - .8
tez.runtime.unordered.output.buffer.size-mb= 800 
hive.server2.tez.sessions.per.default.queue = 2 
tez.session.am.dag.submit.timeout.secs = 900  
tez.am.session.min.held.containers=8
tez.am.resource.memory.mb = 8000
hive.prewarm.enabled = TRUE

Это кластер из 15 узлов, 254 ГБ оперативной памяти на узел, 31 ядро.

Есть какие-нибудь подсказки, что может происходить? AM хорошего размера? У меня нет ошибок из-за нехватки памяти, просто такое долгое время ожидания, когда все работает, но они обрабатывают только 35 миллионов записей, когда они все вместе.

Спасибо

Answer 1

Существует поведение, которое не очень хорошо объяснено в документации, тот факт, что для того, чтобы действительно использовать кластер и все ваши дополнительные конфигурации памяти, вы ДОЛЖНЫ настроить очереди по умолчанию, и вам нужно указать их, когда вы собираетесь запрашивать, или подключить искру и т.д.

Например, при использовании tez вам нужно использовать чтобы полностью использовать его, это обеспечивает параллельность пряжи.

Для искры нужно указать при запуске pyspark или при отправке заданий с помощью файла spark_submit.

Чтобы использовать вышеизложенное, вам необходимо настроить очереди в пряже с помощью , параметр, который необходимо настроить со списком очередей по умолчанию для tez. Важно отметить, что вы можете создавать очереди и не перечислять их по умолчанию, при этом вам нужно будет постоянно вызывать очередь вручную, и запросы не попадут в какую-либо очередь по умолчанию.