Hadoop не может распознать библиотеку mahout
Я пытаюсь запустить пример в http://chimpler.wordpress.com/2013/06/24/using-the-mahout-naive-bayes-classifier-to-automatically-classify-twitter-messages-part-2-distribute-classification-with-hadoop/comment-page-1/, но столкнулся с проблемой, поскольку мой hadoop не распознает внешние библиотеки, особенно mahout, который очень необходим для запуска примера.
Это сообщение об ошибке, которое я не могу исправить:
13/09/07 20:59:07 INFO mapred.JobClient: Task Id : attempt_201309071836_0006_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: org.apache.mahout.math.Vector
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at MapReduceClassifier$ClassifierMap.initClassifier(MapReduceClassifier.java:39)
at MapReduceClassifier$ClassifierMap.setup(MapReduceClassifier.java:31)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
Вот несколько вещей, которые я пробовал до сих пор, которые не помогли -
Добавлены все файлы.jars из моей папки "mahout-distribution-0.7" в папку HADOOP_CLASSPATH по http://mail-archives.apache.org/mod_mbox/mahout-user/201103.mbox/%3C2658E54B540D284981EA57E6A549EA70A3A977EE30@INBLRK77M1MSX.in002.siemens.net%3E
Запустил 'mvn package' (в папке 'mahout-distribution-0.7'), как это было предложено кем-то из-за ошибки, при кластеризации данных с kmeans, который завершил очистку (заняло около часа, но окончательный результат показал 'BUILD SUCCESSFUL')
Посмотрел Как я могу собрать / запустить эту простую программу Mahout без исключений? но я вижу, что математические библиотеки mathout уже присутствуют в pom.xml в папке "mahout-distribution-0.7".
Стоит отметить, что изначально моя команда 'hadoop jar xxx' выдавала ошибки, из-за которых не удается найти MultiSet (com.google.common.collect.Multiset), я настроил код Classifier.java для использования HashMap вместо MultiSet, так обошел эту ошибку. Но теперь, глядя на код, мне нужно, чтобы hadoop распознал класс Vector, чтобы иметь возможность успешно запустить программу.
Кто-нибудь может помочь, как заставить мой hadoop распознать библиотеку mahout и исправить вышеуказанную ошибку?
Я использую 'Hadoop 0.20.2' и 'mahout-distribution-0.7'.
заранее спасибо