Почему входные записи объединителя больше, чем выходные записи сопоставления?
Combiner работает над выходными записями маппера. Если выходные записи сопоставления поступают в объединитель, то почему входные записи моего объединителя являются более чем выходными записями сопоставления?
Я получил эти 80 записей дополнительно. Я понятия не имею, откуда они пришли и какова их ценность.
Пряжа свалки Мапредуце:
Map-Reduce Framework
Map input records=80000000
Map output records=80000000
Map output bytes=2560000000
Map output materialized bytes=80
Input split bytes=220
Combine input records=80000083
Combine output records=85
Reduce input groups=1
Reduce shuffle bytes=80
Reduce input records=2
Reduce output records=3
Spilled Records=87
Shuffled Maps =2
Failed Shuffles=0
Merged Map outputs=2
GC time elapsed (ms)=4124
CPU time spent (ms)=90530
Physical memory (bytes) snapshot=573521920
Virtual memory (bytes) snapshot=2509766656
Total committed heap usage (bytes)=411041792