SSH доступ для головного узла FIWARE-Cosmos
Я следую этому руководству по Hadoop/FIWARE-Cosmos, и у меня есть вопрос по части Hive.
Я могу получить доступ к старому кластеру (cosmos.lab.fiware.orgГоловной узел через SSH, но я не могу сделать это для нового кластера. Я пробовал оба storage.cosmos.lab.fiware.org а также computing.cosmos.lab.fiware.org и не удалось подключиться.
Я пытался подключиться через SSH, чтобы проверить запросы Hive к нашим данным через CLI Hive. После этого я проверил и смог подключиться к порту 10000 computing.cosmos.lab.fiware.org с телнетом. Я думаю, улей подается через этот порт. Это единственный способ использовать Hive в новом кластере?
1 ответ
Новая пара кластеров не включила доступ SSH. Это связано с тем, что пользователи склонны устанавливать много вещей (даже не связанных с большими данными) в "старом" кластере, в котором, как вы упомянули, был включен доступ по ssh. Итак, новая пара кластеров предназначена для использования только через открытые API-интерфейсы: WebHDFS для ввода-вывода данных и Tidoop для MapReduce.
При этом сервер Hive также работает, и он должен предоставлять удаленный сервис в порту 10000, как вы упомянули. Я говорю "так и должно быть", потому что он работает с экспериментальным модулем аутентификации, основанным на OAuth2, как это делают WebHDFS и Tidoop. Теоретически подключиться к этому порту из клиента Hive так же просто, как использовать ваше имя пользователя Cosmos и действительный токен (то же, что вы используете для WebHDFS и / или Tidoop).
А как насчет удаленного клиента Hive? Ну, это то, что ваше приложение должно реализовать. В любом случае, я выложил несколько примеров реализации в репозитории Cosmos. Например:
https://github.com/telefonicaid/fiware-cosmos/tree/develop/resources/java/hiveserver2-client