Слишком много выборок

У меня есть установка, 2-х узловый кластер hadoop на Ubuntu 12.04 и Hadoop 1.2.1. Пока я пытаюсь запустить пример подсчета слов hadoop, я получаю "Too many fetch faliure error". Я сослался на множество статей, но не могу понять, какими должны быть записи в Masters,Slaves а также /etc/hosts файл. Мои имена узловmaster" с ip10.0.0.1 и "раб" с ip 10.0.0.2,

Мне нужна помощь в том, что должно быть записи в мастеров, рабов и /etc/hosts файл в обоих master а также slave узел?

Источник

1 ответ

Решение

Если по какой-либо причине вы не можете обновить кластер, попробуйте следующее:

  1. Убедитесь, что ваше имя хоста привязано к IP-адресу сети, а НЕ 127.0.0.1 в /etc/hosts
  2. Убедитесь, что вы используете только имена хостов, а не IP-адреса для справочных служб.
  3. Если вышеприведенное верно, попробуйте следующие настройки:
set mapred.reduce.slowstart.completed.maps=0.80
set tasktracker.http.threads=80
set mapred.reduce.parallel.copies=(>= 10)(10 should probably be sufficient)

Также ознакомьтесь с этой статьей: почему я получаю "Слишком много ошибок при загрузке" через день

И это: слишком много ошибок извлечения: Hadoop в кластере (x2)

А также это, если вышеперечисленное не поможет: http://grokbase.com/t/hadoop/common-user/098k7y5t4n/how-to-deal-with-too-many-fetch-failures Для краткости и в интересах время, я ставлю то, что я нашел здесь наиболее подходящим.

Причиной номер 1 этого является то, что приводит к сбою в выводе карты. Я видел: 1) брандмауэр 2) неверно настроенные IP-адреса (то есть: отслеживатель задач, пытающийся получить, получил неверный IP-адрес при поиске имени отслеживателя задач с сегментом карты) 3) редко, сервер http на обслуживающей TaskTracker перегружен из-за недостаточного количества потоков или невыполненных заданий ожидания, это может произойти, если число выборок на уменьшение велико, а число сокращений или количество отображений очень велико.

Возможно, есть и другие случаи, это недавно произошло со мной, когда у меня было 6000 карт и 20 редукторов в кластере из 10 узлов, что, как я полагаю, было случаем 3 выше. Поскольку на самом деле мне не нужно было сокращать (я получил сводные данные через счетчики на этапе отображения), я никогда не перестраивал кластер.

РЕДАКТИРОВАТЬ: Оригинальный ответ сказал: "Убедитесь, что ваше имя хоста привязано к IP-адресу сети и 127.0.0.1 в /etc/hosts"

Источник
Другие вопросы по тегам