Почему входные записи объединителя больше, чем выходные записи сопоставления?

Combiner работает над выходными записями маппера. Если выходные записи сопоставления поступают в объединитель, то почему входные записи моего объединителя являются более чем выходными записями сопоставления?

Я получил эти 80 записей дополнительно. Я понятия не имею, откуда они пришли и какова их ценность.

Пряжа свалки Мапредуце:

 Map-Reduce Framework
            Map input records=80000000
            Map output records=80000000
            Map output bytes=2560000000
            Map output materialized bytes=80
            Input split bytes=220
            Combine input records=80000083
            Combine output records=85
            Reduce input groups=1
            Reduce shuffle bytes=80
            Reduce input records=2
            Reduce output records=3
            Spilled Records=87
            Shuffled Maps =2
            Failed Shuffles=0
            Merged Map outputs=2
            GC time elapsed (ms)=4124
            CPU time spent (ms)=90530
            Physical memory (bytes) snapshot=573521920
            Virtual memory (bytes) snapshot=2509766656
            Total committed heap usage (bytes)=411041792

0 ответов

Другие вопросы по тегам