Подходит ли Apache Hama для построения дерева решений?
В настоящее время я внедрил в Hadoop фреймворк Google для построения деревьев решений (также известный как PLANET). Он начинается с одной вершины, и с сокращением заданий карты вы добавляете все больше и больше, пока дерево не будет полностью построено. Однако одной из основных проблем является то, что многие задания сопоставления / сокращения выполняются одна за другой, поэтому стоимость запуска новых заданий все время очень высока.
Я много раз видел, что Apache Hama подходит для итерационных алгоритмов, таких как графы. Может кто-нибудь построить новый граф с помощью Hama или вы просто используете в качестве входного графика и производите некоторые вычисления на нем? Будет ли легко перенести мой проект в Hama?? Спасибо
1 ответ
Hama действительно может построить дерево решений, используя алгоритм, описанный в документе PLANET, гораздо более эффективным способом, чем MapReduce.
Hama не нуждается в графике в качестве входных данных, вы можете взглянуть на модуль Hama ML (машинное обучение), который обычно имеет дело с необработанными векторами объектов, которые вводятся непосредственно из HDFS.
Для Hama я создал новую проблему в Apache Jira, чтобы отслеживать прогресс по этому алгоритму.