Исключение Hadoop java.lang.NoSuchMethodError при вызове hdfsOpenFile в hdfs C API
Во-первых, у меня был построен hadoop-2.7.2 с использованием mvn и переменных окружения, установленных правильно. Затем я пытаюсь запустить простой пример на веб-сайте Apache: пример кода C API libhdfs
#include "hdfs.h"
int main(int argc, char **argv) {
hdfsFS fs = hdfsConnect("default", 0);
const char* writePath = "/tmp/testfile.txt";
hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY |O_CREAT, 0, 0, 0);
if(!writeFile) {
fprintf(stderr, "Failed to open %s for writing!\n", writePath);
exit(-1);
}
char* buffer = "Hello, World!";
tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);
if (hdfsFlush(fs, writeFile)) {
fprintf(stderr, "Failed to 'flush' %s\n", writePath);
exit(-1);
}
hdfsCloseFile(fs, writeFile);
}
Затем я получил сообщение об ошибке, как показано ниже:
$ не может найти метод create из класса org/apache/hadoop/fs/FileSystem с подписью (Lorg/apache/hadoop/fs/Path;Lorg/apache/hadoop/fs/ Права / FsPermission; ZISJILorg / apache / hadoop / util / Progressable, Z) Lorg / Apache / Hadoop / фс / FSDataOutputStream;
$ Исключение в потоке "main" java.lang.NoSuchMethodError: create
$ Вызов org.apache.hadoop.conf.FileSystem:: create ((Lorg/apache/hadoop/fs/Path;Lorg/apache/hadoop/fs/ Разрешение /FsPermission;ZISJILorg/apache/hadoop/util/Progressable;Z)Lorg/apache/hadoop/fs/FSDataOutputStream;) не удалось!
Но я могу найти функцию 'create' в org.apache.hadoop.fs.FileSystem: org.apache.hadoop.fs.FileSystem список функций
Кто-нибудь имеет представление о том, что происходит?
1 ответ
Я должен признать свой глупый вопрос здесь. Я включил неправильную зависимость в свое определение ссылок. Поэтому моя программа пытается вызвать неправильный create() из другой библиотеки... Теперь я могу использовать все API hdfs с открытым исходным кодом.