Большие файлы, вызывающие ошибку случайного воспроизведения в карте hadoop, уменьшают

Question

Я вижу следующую ошибку при попытке обработать большой файл размером более 35 ГБ, но не происходит, когда я пытаюсь использовать менее большой файл размером менее 10 ГБ.

App > Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#30

App > at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)

App > at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)

App > at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:165)

App > at java.security.AccessController.doPrivileged(Native Method)

App > at javax.security.auth.Subject.doAs(Subject.java:422)

App > at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1635)

App > at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:160)

App > Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

Работа все еще заканчивается в qubole, так как я думаю, что qubole повторяет шаг сокращения.

Но мне было интересно, есть ли такая настройка, чтобы я вообще мог избежать ошибок, чтобы не выполнять повторную работу.

App > Failed reduce tasks=54

Answer 1

Увеличить параллелизм редукторов. Это можно сделать, установив свойство конфигурации mapreduce.job.reduces. Если вы используете Java-приложение, как это:

hadoop jar -Dmapreduce.job.maps=100 -Dmapreduce.job.reduces=200 your_jar.jar ...

В Hive это можно сделать используя hive.exec.reducers.bytes.per.reducer имущество.

Также вы можете попробовать увеличить размер кучи Java контейнера, прочитайте это