Ошибка пакета mvn Elephant-bird

Question

Я установил hadoop 2.2 в моей системе. Я хочу использовать банку Elephant-Bird. Получаю следующую ошибку при запуске "mvn package".

Ошибка:

---

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile) on project elephant-bird-core: Compilation failure: Compilation failure:
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [9,39] error: package org.apache.commons.lang3.builder does not exist
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [10,31] error: package org.apache.thrift.scheme does not exist
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [11,31] error: package org.apache.thrift.scheme does not exist
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [12,31] error: package org.apache.thrift.scheme does not exist
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [14,31] error: package org.apache.thrift.scheme does not exist
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [15,33] error: cannot find symbol
[ERROR] package org.apache.thrift.protocol
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [20,0] error: package org.apache.thrift.server.AbstractNonblockingServer does not exist
[ERROR] /usr/lib/hadoop/elephant_bird/core/target/generated-sources/thrift/com/twitter/elephantbird/thrift/test/TestListInList.java:    [42,43] error: cannot find symbol

---

Я добавил код ниже в pom.xml, но ошибка все еще существует.

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
    <version>3.1</version>
</dependency>

Как я могу решить эту ошибку?

Конфигурация системы

Thrift version 0.9.1

Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 19:21:28+0530)
Maven home: /usr/lib/mvn/apache-maven-3.0.5
Java version: 1.7.0_25, vendor: Oracle Corporation
Java home: /usr/lib/jvm/java-7-openjdk-amd64/jre
Default locale: en_IN, platform encoding: UTF-8
OS name: "linux", version: "3.5.0-43-generic", arch: "amd64", family: "unix"

Hadoop 2.2.0.2.0.6.0-76

Answer 1

Изменен Thrift с 0.9.1 до 0.7.0, загрузив с http://archive.apache.org/dist/thrift/0.7.0/thrift-0.7.0.tar.gz. Распакуйте и перейдите в извлеченную папку. Затем набрали следующие команды:

• chmod + x./configure
• ./configure
• делать
• sudo make install

Проверьте версию Thrift, введя Thrift -version. Это должно вернуть "Thrift version 0.7.0"

Затем перейдите в папку "Слон-птица" и введите "mvn -Dmaven.test.skip = true package"

Примечание: пропустить тест используется, так как некоторые тесты были неудачными. Пропустить параметры теста решили проблему.

Консольный вывод:

[INFO] Building jar: /usr/lib/hadoop/elephant_bird/examples/target/elephant-bird-examples-4.4-SNAPSHOT.jar
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Elephant Bird ..................................... SUCCESS [2.043s]
[INFO] Elephant Bird Cascading2 .......................... SUCCESS [4.277s]
[INFO] Elephant Bird Core ................................ SUCCESS [16.622s]
[INFO] Elephant Bird Hadoop Compatibility ................ SUCCESS [0.106s]
[INFO] Elephant Bird Hive ................................ SUCCESS [0.462s]
[INFO] Elephant Bird Mahout .............................. SUCCESS [5.026s]
[INFO] Elephant Bird Pig ................................. SUCCESS [9.756s]
[INFO] Elephant Bird RCFile .............................. SUCCESS [3.745s]
[INFO] Elephant Bird Lucene .............................. SUCCESS [3.320s]
[INFO] Elephant Bird Pig Lucene .......................... SUCCESS [1.736s]
[INFO] Elephant Bird Examples ............................ SUCCESS [6.653s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 55.204s
[INFO] Finished at: Wed Jan 15 01:28:31 IST 2014
[INFO] Final Memory: 64M/386M
[INFO] ------------------------------------------------------------------------

РЕДАКТИРОВАТЬ: Pig выдавал ошибку при компиляции оператора загрузки для JsonLoader, так как json-simple-1.1.1.jar не был найден. Google для банку, вы можете найти это легко. (Невозможно опубликовать ссылку из-за менее чем 10 репутации)

и произошла ошибка при запуске задания свиноводства относительно hadoop-compat. Загрузите http://repo1.maven.org/maven2/com/twitter/elephantbird/elephant-bird-hadoop-compat/4.4/elephant-bird-hadoop-compat-4.4.jar(также находится в папке /hadoop-compat/target/elephant-bird-hadoop-compat-4.4-SNAPSHOT.jar

)

зарегистрируйте 4 Jars для использования плагина Elephant-Bird в Pig.