"Слишком много ошибок извлечения" при использовании Hive

Question

Я выполняю запрос улья против кластера hadoop из 3 узлов. И я получаю сообщение об ошибке "Слишком много ошибок извлечения". Мой улей запрос:

  insert overwrite table tablename1 partition(namep)
  select id,name,substring(name,5,2) as namep from tablename2;

это запрос, который я пытаюсь выполнить. Все, что я хочу сделать, это перенести данные из tablename2 в tablename1. Любая помощь приветствуется.

Answer 1

Это может быть вызвано различными проблемами конфигурации hadoop. Вот пара, чтобы искать в частности:

• Проблема с DNS: изучите свой /etc/hosts
• Недостаточно http потоков на стороне картографа для редуктора

Некоторые предлагаемые исправления (из устранения неполадок Cloudera)

• задавать mapred.reduce.slowstart.completed.maps = 0.80
• tasktracker.http.threads = 80
• mapred.reduce.parallel.copies = sqrt (node count) but in any case >= 10

Вот ссылка на устранение неполадок для более подробной информации

http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-kate-ting-cloudera