Как решить java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): сбой подпроцесса с кодом 2?
Я пытаюсь выполнить NLTK в среде Hadoop. Ниже приведена команда, которую я использовал для исполнения.
bin / hadoop jar $ HADOOP_HOME / contrib / streaming / hadoop-streaming-1.0.4.jar -input / пользователь /nltk/input/ -output / пользователь / nltk / output1 / -file / home / hduser / softwares / NLTK / unsupervised_sentiment -master.zip -mapper /home/hduser/softwares/NLTK/unsupervised_sentiment-master/sentiment.py
unsupervised_sentiment-master.zip --- содержит все зависимые файлы, необходимые для sentiment.py
я получаю
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): не удалось выполнить подпроцесс с кодом 2 в org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362) в org.apache.hadoop.streamed.mapedFR.java:576) в org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135) в org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57) в org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36) в org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436) в org.apache.hadoop.mapred.MapTask.run(MapTask.java:37 в org.apache.hadoop.mapred.Child$4.run(Child.java:255) в java.security.AccessController.doPrivileged(собственный метод) в javax.security.auth.Subject.doAs(Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) в org.apache.hadoop.mapred.Child.main(Child.java:249)
Любая помощь будет принята с благодарностью!!!
4 ответа
Не могли бы вы опубликовать файлы Python? Я предполагаю, что вам нужно добавить #!/ Usr/bin/python в начало вашего py-файла. Это был тот случай, когда я транслировал через Python.
Бест, Хари
Добавление строки ниже в начало скрипта Python заставило код работать на меня.
#! / USR / бен / питон
В вашем sentiment.py файл, добавьте следующую строку в начало:
`` `
! / usr / bin / env python
`` `
Это сработало для меня.
Я не могу точно сказать, в чем ваша ошибка, но моя заключалась в том, что у меня была неразрешенная зависимость в моем скрипте на python. А именно statsmodels.