Mapper не выполняется на имени хоста, возвращенного из getLocations() InputSplit в Hadoop

Я продлил InputSplit класс Hadoop для вычисления моего пользовательского разделения ввода, однако, хотя я возвращаю определенный HostIP(т.е. IP-адрес datanode) в виде строки для переопределенного getLocations (), задача Map для него не выполняется на этом HostIP, а выполняется на каком-то другом. Что может быть проблемой, если вы не выполняете этот конкретный HostIP?

Источник

1 ответ

Вы пытались вернуть полное имя из getLocations. Я столкнулся с подобной проблемой, но возвращение квалифицированного имени, похоже, сработало для меня.

Спасибо, Шриватсан

Источник
Другие вопросы по тегам