Ошибка: не удалось создать хранилище данных при запуске встроенной свиньи в Java

Я написал простую программу для тестирования встроенной свиньи в Java для запуска в режиме mapreduce. Версия hadoop на сервере, на котором я работаю, - 0.20.2-cdh3u4a, а версия pig - 0.10.0-cdh3u4a.

Когда я пытаюсь запустить в локальном режиме, он работает успешно. Но когда я пытаюсь запустить в режиме mapreduce, выдает ошибку.

Я запускаю свою программу, используя следующие команды, как показано в http://pig.apache.org/docs/r0.9.1/cont.html

javac -cp pig.jar EmbedPigTest.java
javac -cp pig.jar:.:/etc/hadoop/conf EmbedPigTest.java input.txt

Моя программа выдает ошибку как:

Exception in thread "main" java.lang.RuntimeException: Failed to create DataStorage
        at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:75)
        at org.apache.pig.backend.hadoop.datastorage.HDataStorage.<init>(HDataStorage.java:58)
        at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:214)
        at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:134)
        at org.apache.pig.impl.PigContext.connect(PigContext.java:183)
        at org.apache.pig.PigServer.<init>(PigServer.java:226)
        at org.apache.pig.PigServer.<init>(PigServer.java:215)
        at org.apache.pig.PigServer.<init>(PigServer.java:211)
        at org.apache.pig.PigServer.<init>(PigServer.java:207)
        at WordCount.main(EmbedPigTest.java:9)

В некоторых интернет-ресурсах говорится, что эта проблема возникает из-за другой версии hadoop. Но я не понял, что мне делать. Предложения, пожалуйста!

Источник

2 ответа

Решение

Это происходит из-за того, что вы ссылаетесь на неправильную банку. См. Ссылку ниже, которая очень хорошо описывает эту проблему.

http://localsteve.wordpress.com/2012/09/30/embedding-pig-for-cdh4-java-apps-fer-realz/

Источник

Я столкнулся с такой же проблемой, когда пытался использовать pig в режиме уменьшения карты без запуска служб.

Пожалуйста, проверьте все сервисы, используя jps перед использованием pig в режиме уменьшения карты.

Источник
Другие вопросы по тегам