Разъем HPCC/HDFS

Question

Кто-нибудь знает о разъеме HPCC/HDFS. Мы используем как HPCC, так и HADOOP. Существует одна утилита (разъем HPCC/HDFS), разработанная HPCC, которая позволяет кластеру HPCC обрабатывать данные HDFS.

Я установил коннектор, но когда я запускаю программу для доступа к данным из hdfs, выдает ошибку, поскольку libhdfs.so.0 не существует.

Я пытался собрать libhdfs.so используя команду

 ant compile-libhdfs -Dlibhdfs=1

это дает мне ошибку как

целевой "compile-libhdfs" не существует в проекте "hadoop"

я использовал еще одну команду

 ant compile-c++-libhdfs -Dlibhdfs=1

это дает ошибку как

плющ загрузка:

  [get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

  [get] To: /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

  [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

в /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

BUILD FAILED java.net.ConnectException: истекло время ожидания соединения

любое предложение будет большой помощью

Answer 1

Chhaya, вам может не понадобиться создавать libhdfs.so, в зависимости от того, как вы установили hadoop, он может уже быть у вас.

Регистрироваться HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so, где HADOOP_LOCATION ваше место установки hadoop, и arch это архитектура машины (i386-32 или amd64-64).

Как только вы найдете библиотеку, убедитесь, что разъем H2H настроен правильно ( см. Стр. 4 здесь).

Это просто вопрос обновления HADOOP_LOCATION var в конфигурационном файле:/opt/HPCCSystems/hdfsconnector.conf

удачи.