mrjob Исключение NoFIleFound с кластером cloudera cdh 5

Я получаю эту ошибку при попытке запустить пример mrjob на кластере hadoop. Я настроил свой hadoop_home, и я также могу создать новый каталог в файловой системе hdfs. Я могу запустить Python Map-Reduce, если я использую потоковое Hadoop. Только с mrjob я получаю эту проблему.

Когда я запускаю эту команду:

python mr_word_freq_count.py -r hadoop --hadoop-bin /usr/bin/hadoop -o hdfs:///user/zkdmkrq/out1 hdfs:///user/zkdmkrq/input1

Я получил:

no configs found; falling back on auto-configuration no configs found;
falling back on auto-configuration creating tmp directory
/tmp/mr_word_freq_count.zkdmkrq.20150226.172000.917957 writing wrapper
script to
/tmp/mr_word_freq_count.zkdmkrq.20150226.172000.917957/setup-wrapper.sh
STDERR: mkdir:
`hdfs:///user/zkdmkrq/tmp/mrjob/mr_word_freq_count.zkdmkrq.20150226.172000.917957/files/':
No such file or directory Traceback (most recent call last):   File
"mr_word_freq_count.py", line 37, in <module>
    MRWordFreqCount.run()   File "/usr/lib/python2.6/site-packages/mrjob/job.py", line 494, in run
    mr_job.execute()   File "/usr/lib/python2.6/site-packages/mrjob/job.py", line 512, in execute
    super(MRJob, self).execute()   File "/usr/lib/python2.6/site-packages/mrjob/launch.py", line 147, in
execute
    self.run_job()   File "/usr/lib/python2.6/site-packages/mrjob/launch.py", line 208, in
run_job
    runner.run()   File "/usr/lib/python2.6/site-packages/mrjob/runner.py", line 458, in run
    self._run()   File "/usr/lib/python2.6/site-packages/mrjob/hadoop.py", line 238, in _run
    self._upload_local_files_to_hdfs()   File "/usr/lib/python2.6/site-packages/mrjob/hadoop.py", line 265, in
_upload_local_files_to_hdfs
    self._mkdir_on_hdfs(self._upload_mgr.prefix)   File "/usr/lib/python2.6/site-packages/mrjob/hadoop.py", line 273, in
_mkdir_on_hdfs
    self.invoke_hadoop(['fs', '-mkdir', path])   File "/usr/lib/python2.6/site-packages/mrjob/fs/hadoop.py", line 109, in
invoke_hadoop
    raise CalledProcessError(proc.returncode, args) subprocess.CalledProcessError: Command '['/usr/bin/hadoop', 'fs',
'-mkdir',
'hdfs:///user/zkdmkrq/tmp/mrjob/mr_word_freq_count.zkdmkrq.20150226.172000.917957/files/']'
returned non-zero exit status 1
Источник

1 ответ

Я действительно нашел решение этой проблемы. Мне пришлось изменить файл mrjob/hadoop.py. Вот точное решение

https://github.com/Yelp/mrjob/issues/850

Надеюсь, это поможет всем, кто сталкивается с этой проблемой.

Источник
Другие вопросы по тегам