Оптимизация запроса улья:Apache Hive
Следующий запрос улья, который находит опережение и отставание в одном столбце. Запрос порождает 1 маппер и 50 редукторов. Как я могу оптимизировать запрос, чтобы порождать меньше, уменьшает.
Описание таблицы
col_name data_type comment
# col_name data_type comment
a int
Данные в сказке
select * from foo;
OK
foo.a 1 2 3 4 5 6 3 4 6 78 9 7 NULL
select lag(a,1) over (order by a) as next,lead(a,1) over (order by a) as prev from foo;
Идентификатор запроса = phodisvc_20170403015502_de129135-eb19-4c4d-8161-c3f217a45928 Всего заданий = 1 Запуск задания 1 из 1 Число заданий сокращения не указано. Значение по умолчанию для jobconf: 50 Чтобы изменить среднюю нагрузку для редуктора (в байтах): установите hive.exec.reducers.bytes.per.reducer= Чтобы ограничить максимальное количество редукторов: установите hive.exec. redurs.max= Чтобы установить постоянное число редукторов: установите mapreduce.job.reduces= Kill Command = /opt/mapr/hadoop/hadoop-2.7.0/bin/hadoop job -kill job_1489146839620_136214 Информация о задании Hadoop для Stage-1: количество картографов: 1; количество редукторов: 50