Map-Reduce Logs на Hive-Tez

Question

Я хочу получить интерпретацию журналов Map-Reduce после выполнения запроса в Hive-Tez? Какие строки после INFO: передает? Здесь я приложил образец

INFO  : Session is already open
INFO  : Dag name: SELECT a.Model...)
INFO  : Tez session was closed. Reopening...
INFO  : Session re-established.
INFO  : 
INFO  : Status: Running (Executing on YARN cluster with App id application_14708112341234_1234)

INFO  : Map 1: -/-  Map 3: -/-  Map 4: -/-  Map 7: -/-  Reducer 2: 0/15     Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: -/-  Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26  Reducer 6: 0/13
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0(+5)/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+5)/118    Map 4: 0(+7)/118    Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+15)/118   Map 4: 0(+18)/118   Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 

Answer 1

Размещенный вами журнал является журналом выполнения DAG. DAG состоит из карт 1, карты 3, карты 4, картографических вершин и редукторов карты 7: редуктор 2, редуктор 5, редуктор 6

INFO : Map 1: -/- Это означает, что вершина не инициализирована, число картографов еще не рассчитано.

Map 4: 0(+7)/118 - Это означает, что всего имеется 118 картографов, 7 из них работают параллельно, 0 завершено, 118-7=111 ожидают.

 Reducer 2: 0/15 - This means that totally there are 15 reducers, 0 of them are running, 0 of them are completed (15 reducers pending).

Отрицательные цифры (таких в вашем примере нет) = количество неудачных или убитых картографов или редукторов