Hadoopy не пройдет мимо Mkdir
В настоящее время я работаю над проектом, который использует hadoop (2.7.0). У меня настроен и работает кластер из двух узлов (по большей части). Я могу запускать задания картографа / редуктора вручную без каких-либо проблем. Но когда я пытаюсь начать работу с Hadoopy, я получаю сообщение об ошибке. После отладки ошибки я вижу, что она исходит из следующей команды, которая выполняется hadoopy:
hadoop fs -mkdir _hadoopy_tmp
Это приводит к ошибке:
mkdir: '_hadoopy_tmp': No such file or directory
Когда вы делаете это вручную, mkdir работает нормально, если я начинаю имя директории своего файла с "/" перед ним. Если я не начинаю с '/', я получаю ту же ошибку, что и выше. То же самое касается команды ls (ls / дает мне результат, ls. Выдает ошибку, что такого файла или каталога нет). Я предполагаю, что я где-то облажался в конфигурации Hadoop. Я просто не могу понять, где.
РЕДАКТИРОВАТЬ: уточнить: я знаю, что вы должны использовать команду mkdir с прямым путем (ea / перед ним). При взаимодействии с терминалом через терминал я делаю это. Однако, как представляется, инфраструктура hadoopy этого не делает (выдает ошибку, как показано выше). мой вопрос: есть ли исправить / обойти это в Hadoopy, или я должен переписать там исходный код?
1 ответ
Я не понимаю, что для вас "вручную", но ошибки, которые вы видите, на мой взгляд, имеют смысл, если вы хотите создать каталог в hadoop FS, вы должны указать точный путь для этого. Там нет проблем, и ты ничего не испортил. Я рекомендую вам сделать это следующим образом:
$HADOOP_HOME/bin/hdfs dfs -mkdir /name_of_new_folder/
Pd: Я ничего не знаю о Hadoopy, я просто говорю из своего опыта с Hadoop (и некоторые пункты должны быть одинаково обработаны в обоих, поэтому это причина, почему я отвечаю здесь, пожалуйста, исправьте мой, если я неправильно)