WebHDFS против HttpFS

В чем разница между REST API WebHDFS и HttpFS?

Если я правильно понимаю:

  • HttpFS - это независимый сервис, который предоставляет REST API поверх HDFS.
  • WebHDFS - это API-интерфейс REST, встроенный в HDFS. Не требует дополнительной установки

Я прав?

Когда было бы целесообразно использовать один вместо другого?

Источник

1 ответ

Решение

Я прочитал статью, связанную с вашим вопросом. Следующая ссылка.

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS и HttpF. Основное различие между WebHDFS и HttpF: WebHDFS необходим доступ ко всем узлам кластера, и когда некоторые данные считываются, они передаются с этого узла напрямую, тогда как в HttpF одиночный узел будет действовать подобно "шлюзу" и будет быть единой точкой передачи данных на клиентский узел. Таким образом, HttpF могут быть заблокированы во время передачи большого файла, но хорошо то, что мы минимизируем площадь, необходимую для доступа к HDFS.

Источник
Другие вопросы по тегам