FANMOD - поиск подграфа с использованием Hadoop/MapReduce
У меня есть этот алгоритм Fanmod, который я должен реализовать для больших данных.
Мне было интересно, будет ли эффективно делать это с Hadoop/Mapreduce.
Если нет, то не могли бы вы дать мне несколько советов по эффективному решению этой проблемы?
1 ответ
Возможно, вы уже знакомы с анализом подграфов SAHAD в массовых сетях с использованием Hadoop, в котором они успешно выполнили анализ сетевых мотивов с помощью Hadoop.
Не совсем точно сказать, что Hadoop не может выполнять итеративную обработку... просто это сложнее в Hadoop. Я бы порекомендовал прочитать эту ссылку: Итеративные алгоритмы в Hadoop для получения дополнительной информации, но в двух словах, итеративная обработка в Hadoop требует объединения заданий в ряд.
Исходя из вашего требования (поиск по подграфу), это кажется разумным вариантом использования Hadoop и среды MR.
В качестве альтернативы, если вам нужна постоянная итеративная обработка, а MR ее не обрезает, вы можете использовать Storm в Hadoop HDFS.