Разница между hive.tez.container.size и tez.task.resource.memory.mb

Question

Разница между hive.tez.container.size и tez.task.resource.memory.mb

Кто-нибудь знает и объяснит мне, пожалуйста, разницу между этими настройками Tez?

hive.tez.container.size и tez.task.resource.memory.mb

Благодарю.

5

hadoop memory hive apache-tez

Источник

user2451747 29 янв '19 в 10:05

1 ответ

Решение

Другие вопросы по тегам hadoop memory hive apache-tez

user3017216 30 янв '19 в 04:38 2019-01-30 04:38 · Accepted Answer · 2019-01-30 04:38

hive.tez.container.size

Это свойство указывает размер контейнера tez. Обычно значение этого свойства должно быть таким же или небольшим (в 1 или 2 раза) размера контейнера YARN yarn.scheduler.minimum-alloc-mb и не должно превышать значение yarn.scheduler.maximum-alloc-mb.

Как правило, не устанавливайте значение выше, чем память на процессор, так как вы хотите, чтобы 1 процессор на контейнер, и вы хотите ускорить несколько контейнеров.

Вы можете найти очень подробный ответ и великолепную диаграмму архитектуры в разделе сообщества Hortonworks.

tez.task.resource.memory.mb

Объем памяти, используемый запущенной задачей в контейнере TEZ. Обычно это значение устанавливается в DAG, но если это не так, по умолчанию оно устанавливается равным 1024 МБ.

Все задачи в группе обеспечения доступности баз данных будут иметь одинаковый размер, это полезно для повторного использования контейнера и также хорошо для производительности.