Описание тега httpfs

Описание тега Вопросы с тегом
HttpFS - это сервер, который предоставляет шлюз REST HTTP, поддерживающий все операции файловой системы HDFS (чтение и запись). И он совместим с HTTP API REST webhdfs.
0 ответов

WebHDFS/HttpFS - загрузка файла JAR не работает должным образом

Я пытаюсь загрузить файл jar Java в кластер HDFS с WebHDFS за шлюзом HttpFs. Я попробовал этот локон: $ curl -v -X PUT --data-binary @myfile.jar "http://myhost:14000/webhdfs/v1/user/myuser/myfile.jar?op=CREATE&user.name=myuser" -H "Content-Type:…
16 июн '16 в 11:46
1 ответ

Как реализовать функцию переименования для файлового сервера на основе HTTP?

Я должен реализовать HTTP-сервер с некоторыми возможностями файлового сервера. Я уже закодировал запросы HTTP HEAD, GET, PUT и DELETE. Далее мне нужно реализовать что-то вроде RENAME или MOVE, чтобы изменить имя файла, который уже хранится на сервер…
11 сен '17 в 08:57
0 ответов

Нет константы перечисления org.apache.hadoop.fs.http.client.HttpFSFileSystem.Operation.GET_BLOCK_LOCATIONS (веб-файлы через httpfs с искровой загрузкой)

Версия Hadoop:- 2.6.5 Искра Версия:- 2.10 Я хочу получить доступ к файловой системе hadoop через webhdfs через сервер httpfs, используя spark, но получаю следующее исключение при загрузке файла с использованием sqlContext. Исключение: = org.apache.h…
22 ноя '17 в 08:32
0 ответов

NullPointerException при попытке доступа к каталогу с использованием HttpFS

У меня есть кластер под управлением Hadoop 2.6.0-cdh5.4.1. Я хочу создать файл внутри каталога, используя webhdfs rest api. У меня есть 2 каталога с именами directory1 и directory2, оба в /. Они оба имеют одинаковые разрешения (711), владелец и груп…
23 ноя '18 в 22:12
2 ответа

Аварийное переключение не срабатывает при сбое активного имени узла

Я использую Apache Hadoop-2.7.1 на кластере, который состоит из трех узлов nn1 главное имя узла nn2 (узел второго имени) dn1 (узел данных) я настроил высокую доступность, а nameservice и zookeeper работают на всех трех узлахи запускается на nn2 в ка…
13 апр '17 в 10:15
2 ответа

Ошибка httpfs Категория операций READ не поддерживается в состоянии ожидания

Я работаю над apoop 2.7.1 hadoop, и у меня есть кластер, который состоит из 3 узлов nn1NN2dn1 nn1 - это имя dfs.default.name, поэтому это главный узел имени. Я установил httpfs и запустил его, конечно, после перезапуска всех служб. Когда nn1 активен…
11 апр '17 в 08:10
1 ответ

HttpFs выигрывают от высокой доступности и службы имен

Я использую Apache Hadoop-2.7.1 на кластере, который состоит из трех узлов nn1 master name node nn2 (second name node) dn1 (data node) мы знаем, что если мы настроим высокую доступность в этом кластере у нас будет два основных узла, один из которых …
12 апр '17 в 08:01
1 ответ

Httpfs Создать или добавить файл с httpclient

Я использую HTTPCLIENT для создания или добавления файла с компонентом покоя HTTPFS. пример cmd curl - работа с curl curl -i -X PUT -s --negotiate -u : "http://httpfsServer:14000/webhdfs/v1/user/a_app_kpi/tmp/testAppend.txt?op=CREATE&data=true" …
21 ноя '17 в 17:08
1 ответ

httpfs для hadoop apache Скачать

Я использую Apache Hadoop-2.7.1 в операционной системе Centos 7. Для настройки HttpFs по этой ссылке предлагается установить HttpFs. Я не нахожу ни одного двоичного файла, доступного для этого. Есть ли альтернативный способ настройки HttpFs для Hado…
09 апр '17 в 10:54
0 ответов

"Исключение FileNotFoundException в listStatus" при использовании DistCP с HTTPFS и файла, содержащего кодируемые символы

Я копирую данные между двумя кластерами HDFS на основе Hadoop 3.1. Из-за сетевых ограничений служба HTTPFS открывает исходный кластер через webshfs, а служба DistCP, работающая на целевом кластере, копирует данные из источника в локальную HDFS по пр…
25 окт '18 в 11:11
1 ответ

WebHDFS/HttpFS в CDH через Docker

Я использую быстрый запуск Cloudera через Docker Toolbox (Docker для Win10 Home). Версия CDH 5.7 я пытаюсь подключиться к hdfs с Webhdfs/HttpFS, я не уверен, если порт 50070 или 14000. вот список портов в CDH 5.7 1) Я на самом деле не уверен, какое …
10 дек '18 в 11:29
0 ответов

Скручивание байт файла при загрузке в hadoop с использованием httpfs

Я пытаюсь загрузить tar-файл в Hadoop Cloudera, используя curl httpfs: ниже приведена команда, которую я использую:/mounts/cleo/tmp/curl-7.56.0/src/curl -i -k -b cookie.jar -format -H "Передача-Кодировка: чанкированная" --max-time 180 -H "Тип контен…
30 ноя '17 в 13:16
1 ответ

Аутентификация в cURL с Windows на Hadoop HTTPFS, защищенная с помощью Kerberos

Я хочу загрузить данные с моего локального компьютера с Windows в HDFS, используя HTTPFS с curl. Кластер Hadoop защищен с помощью Kerberos. Как мне выполнить аутентификацию? При попытке следующего утверждения... curl -k --negotiate -u : -i -X PUT "H…
30 янв '18 в 12:21
0 ответов

Как осуществлять потоковую загрузку с использованием Scalaj-Http и Hadoop HttpFs

Мой вопрос заключается в том, как использовать поток Buffered при использовании Scalaj-Http. Я написал следующий код, который является полным рабочим примером, который будет загружать файл из Hadoop HDFS с использованием HttpFS. Моя цель - обрабатыв…
01 сен '18 в 18:25
0 ответов

Мы можем использовать HTTPFS / WebHDFS через CLI для репликации данных в кластерах?

Я хотел бы знать, есть ли какая-то причина, по которой нам нужно использовать HTTPFS / WebHDFS для размещения файлов, а не CLFS HDFS? CLI будет быстрее и проще в использовании.
12 мар '19 в 06:08
0 ответов

Включение шифрования SSL (TLS) в HttpFS

У меня проблема с тем, чтобы HttpFS работал с SSL. Я использую версию hadoop 2.6.5. Я пробовал использовать переменные envHTTPFS_SSL_KEYSTORE_FILE, HTTPFS_SSL_KEYSTORE_PASS а также HTTPFS_SSL_ENABLED и я вижу, что значения используются и добавляются…
14 ноя '19 в 14:17
0 ответов

Как мы можем использовать apache camel для подключения hdfs с помощью httpfs

Я использовал camel для подключения hdfs, и он работал нормально. Но у нас запланирована миграция, и у новых серверов нет прямого подключения к namenode(порт 8020), поэтому нельзя использовать компонент camel-hdfs. Похоже, нам нужно использовать htt…
22 ноя '19 в 13:08
1 ответ

Какое наиболее эффективное решение для сотен запросов на загрузку в минуту для папки HDFS

В моей компании идет непрерывный процесс обучения. Каждые 5-10 минут мы создаем новую модель в HDFS. Модель представляет собой папку из нескольких файлов: модель ~ 1G (бинарный файл) метаданные модели 1K (текстовый файл) характеристики модели 1К (фа…
23 фев '20 в 01:02
1 ответ

F# с Http.fs - невозможно выполнять API GraphQL

Я не вижу хорошей документации о том, как выполнять API GraphQL с использованием F# с Http.fs Пожалуйста, поделитесь, если у вас есть правильный синтаксис, или укажите его на правильную документацию. Я пытался использовать API Звездных войн, приведе…
16 июн '20 в 15:34
1 ответ

F#- Как мы можем проверить всю схему ответа API с помощью HttpFs.Client или Hopac?

У меня есть тест, в котором после получения ответа я хотел бы проверить всю схему ответа (а не сравнение отдельных узлов ответа / значений). Образец теста: [<Test>] let howtoValidateSchema () = let request = Request.createUrl Post "https://req…
16 июн '20 в 13:59