Что означает, что Mahout построен на Hadoop?
Я читал, что Mahout разработан на Hadoop, и что мы можем использовать Mahout с Hadoop или без него. Что это значит, говоря, что алгоритмы Mahout могут работать на Hadoop? Алгоритмы Mahout написаны не в форме Map-Reduce, верно? Не могли бы вы объяснить мне пример?
Спасибо!
2 ответа
Вы смотрели на исходный код? Алгоритмы реализованы в виде заданий Map/Reduce (не всех, но большей их части), и именно поэтому это утверждение сделано.
Mahout имеет две версии, не распространяемые и не распространяемые. Существует несколько базовых распределенных (Hadoop) реализаций, таких как ItemBased Collaborative Filtering. Ограничение с распределением по умолчанию состоит в том, что если ваши рейтинговые данные имеют идентификатор пользователя и идентификатор элемента в виде буквенно-цифровых символов, вам нужно будет их настроить.
Если вы хотите реализовать какой-то собственный алгоритм, вам придется написать Mapper и Reducers и даже код для их вызова.
Я переопределил org.apache.mahout.cf.taste.hadoop.item.RecommenderJob для использования моих пользовательских задач Map и Reduce.
Ребята, поправьте меня, если я ошибаюсь.