Описание тега webhdfs
NoneWebhdf - это REST API, который поддерживает полный интерфейс файловой системы для hdfs (распределенная файловая система Hadoop)
1
ответ
Команда WebHDFS OPEN возвращает пустые результаты
Я создал простой файл в HDFS по пути /user/admin/foo.txt Я могу видеть содержимое этого файла в Хюэ. Как я выдаю команду curl -i http://namenode:50070/webhdfs/v1/user/admin/foo.txt?op=OPEN Я получаю ответ HTTP/1.1 307 TEMPORARY_REDIRECT Cache-Contro…
24 ноя '15 в 16:22
1
ответ
Файловая система Hadoop с керберозой
Я новичок в файловой системе hadoop. Я не нашел никакой полезной ссылки в Google, связанной с Hadoop FileSystem. Я хочу аутентифицироваться с использованием Kerberose при использовании Hadoop FileSystem. Образец кода: Path src = new Path("C:\\testin…
23 июл '14 в 11:22
1
ответ
Включение кросс-доменного доступа в WEBHDFS REST Api будет использоваться JavaScript?
Я пытаюсь получить списки состояний из API-интерфейса resthdfs, но получаю следующую ошибку. XMLHttpRequest cannot load http://<IP>:50070/webhdfs/v1/?op=LISTSTATUS. No 'Access-Control-Allow-Origin' header is present on the requested resource. …
06 май '16 в 09:23
0
ответов
ПОКАЗАТЬ Cygnus не может сохраняться в HDFSink
Я хочу сохранить информацию в Hadoop через Cygnus. Я тестирую сервисы, но в журнале Cygnus я получаю это: msg=org.apache.http.client.protocol.ResponseProcessCookies[129] : Invalid cookie header: "Set-Cookie: hadoop.auth="u=hduser&p=hduser&t=…
29 авг '18 в 18:12
0
ответов
WebHDFS/HttpFS - загрузка файла JAR не работает должным образом
Я пытаюсь загрузить файл jar Java в кластер HDFS с WebHDFS за шлюзом HttpFs. Я попробовал этот локон: $ curl -v -X PUT --data-binary @myfile.jar "http://myhost:14000/webhdfs/v1/user/myuser/myfile.jar?op=CREATE&user.name=myuser" -H "Content-Type:…
16 июн '16 в 11:46
1
ответ
Создание веб-файлов с использованием шаблона отдыха kerberos HttpServerErrorException: 500 Internal Server Error
Я пытаюсь создать файл в формате hdf с помощью webhdfs. Kerberos используется для безопасности на кластере, поэтому я использую KerberosRestTemplate, В моем контроллере у меня есть 2 метода @RequestMapping("/showFileContent") public ResponseEntity&l…
11 окт '18 в 13:46
1
ответ
Webhdfs остальные API бросать файл не найден исключение
Я пытаюсь открыть файл hdfs, который присутствует на кластере cdh4 с компьютера cdh5, используя webhdfs из командной строки, как показано ниже: curl -i -L "http://namenodeIpofCDH4:50070/webhdfs/v1/user/quad/source/JSONML.java?user.name=quad&op=O…
22 фев '16 в 13:44
0
ответов
hadoop & webhdfs access op = open получает 404 не найден
У меня проблема с доступом к WebHDFS на моей машине Amazon EC2. Я установил hadoop с этим https://letsdobigdata.wordpress.com/2014/01/13/setting-up-hadoop-1-2-1-multi-node-cluster-on-amazon-ec2-part-2/ Я могу получить статус файла с моего локального…
11 мар '16 в 07:28
0
ответов
Нет константы перечисления org.apache.hadoop.fs.http.client.HttpFSFileSystem.Operation.GET_BLOCK_LOCATIONS (веб-файлы через httpfs с искровой загрузкой)
Версия Hadoop:- 2.6.5 Искра Версия:- 2.10 Я хочу получить доступ к файловой системе hadoop через webhdfs через сервер httpfs, используя spark, но получаю следующее исключение при загрузке файла с использованием sqlContext. Исключение: = org.apache.h…
22 ноя '17 в 08:32
0
ответов
Hadoop Webhdfs AJAX запрос URL-адрес ошибки
После установки hadoop 2.6.0 я протестировал mapreduce и список заданий, все вроде нормально, и я могу создавать папки и загружать файлы в dfs. Есть только одна проблема, что, когда я открыл порт 50070 и попытался просмотреть подробный список файлов…
11 апр '17 в 07:15
1
ответ
namenoderpcaddress не указан
Я пытаюсь эту команду на моем кластере hadoop (Cloudera 5.4.1) curl -i http://webhdfs:50075/webhdfs/v1/user/admin/test/test.txt?user.name=admin&op=OPEN&namenoderpcaddress=namenode:8022; echo Здесь я подтвердил, что webhdfs, имена компьютеров…
24 ноя '15 в 15:52
1
ответ
WebHDFS против HttpFS
В чем разница между REST API WebHDFS и HttpFS? Если я правильно понимаю: HttpFS - это независимый сервис, который предоставляет REST API поверх HDFS. WebHDFS - это API-интерфейс REST, встроенный в HDFS. Не требует дополнительной установки Я прав? Ко…
30 июл '14 в 09:49
3
ответа
Проблемы с загрузкой изображения в HDFS через API REST webHDFS
Я делаю HttpPut с MultiPartEntity для записи файла в HDFS через API REST webHDFS. Сам запрос проходит и дает мне правильные ответы, 307 и 201. Однако у изображения есть составные заголовки, также написанные как часть его, как показано ниже, и это не…
23 апр '14 в 15:28
1
ответ
Конечная точка добавления WebHDFS не работает так, как задокументировано
Я следую этой документации о моей версии webHDFS (2.6) и пытаюсь добавить файл в систему, которая уже существует. Меня смущает проблема, заключающаяся в том, что в документах говорится, что я получу перенаправление на соответствующий датодель после …
06 мар '15 в 17:59
0
ответов
Экспорт данных из HDFS на удаленный сервер
Я хочу копировать файлы, не касаясь кодировки на удаленном сервере. Я нашел одно решение, использующее webHDFS, но оно не работает из-за достаточного разрешения. Любыми другими способами я могу этого добиться. pbrun -u username curl -i -L "http://j1…
05 сен '18 в 14:52
1
ответ
Spring поддержка WebHDFS
Есть ли поддержка Spring для wedhdfs? Я не нашел никакой полезной ссылки в Google. Я хочу подключиться к hadoop с обычной аутентификацией и аутентификацией kerberos через webhdfs. Это поддерживается весной? Любые полезные ссылки будут полезны. Спаси…
06 авг '14 в 05:04
2
ответа
Hadoop: два datanodes, но пользовательский интерфейс показывает один и Spark: два рабочих интерфейса показывает один
Я видел много ответов на SO и Quora вместе со многими сайтами. Некоторые проблемы были решены, когда они настроили брандмауэр для подчиненных IP-адресов, некоторые сказали, что это сбой пользовательского интерфейса. Я сбит с толку. У меня есть две д…
25 июл '17 в 08:42
2
ответа
Spark: невозможно загрузить файлы паркета из HDFS до тех пор, пока они не будут "помещены" в hdfs
У меня есть приложение aC#, которое создает и загружает файлы паркета на удаленную HDFS. Если я скопирую файл с помощью scp на целевой компьютер с установленным клиентом HDFS, а затем "hdfs поместит" файл в HDFS, спарк сможет правильно прочитать фай…
04 дек '18 в 13:26
0
ответов
Kerberized Cluster удаленное подключение с использованием Python без использования Kinit
Как перенести файлы с помощью скрипта Python из другой системы в кластер с керберизацией, без использования Kinit и создания заявки в этом терминале? Я хочу включить аутентификацию из скрипта Python, у меня есть файл keytab. Я хочу создать задание, …
06 фев '19 в 09:50
0
ответов
Команды webHDFS в файле Zeppelin.
Я использую Zeppelin - 0,8,0; Я успешно подключился к удаленному кластеру hadoop. Теперь мое требование - протестировать hdfs (установленный интерпретатор файлов%). Я получаю вывод для "ls /" для интерпретатора файла%. Однако остальные команды не яв…
22 янв '19 в 06:29