Совместим ли Apache Knox Gateway с Cloudera 4.5?

Question

В настоящее время я работаю над будущим проектом с кластером Hadoop. Мне нужно найти информацию о безопасности кластера.

Я нашел API Apache Knox Gateway, который, кажется, нам нужен. Мы работаем с Cloudera 4.5 на данный момент. В будущем мы перейдем на Cloudera 5.

Моя проблема в том, что Knox, похоже, не совместим с Cloudera 4.5 ( http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html).

WebHDFS                   2.4.0 
WebHCat/Templeton         0.13.0    0.12.0  
Ozzie                     4.0.0
HBase/Stargate            0.98.0
Hive (via WebHCat)        0.13.0
Hive (via JDBC)           0.13.0

( http://knox.apache.org/books/knox-0-4-0/knox-0-4-0.html)

По данным сайта, это единственные протестированные версии. У кого-нибудь есть опыт работы с этим API и Cloudera 4.5?

Если это не может работать, есть ли какое-либо решение для обеспечения безопасности кластера?

Answer 1

Во-первых, Apache Knox - это способ обеспечить безопасность по периметру вашего кластера для доступа к REST API. Это не замена безопасности Kerberos в кластере Hadoop, когда это действительно оправдано. Он продолжает дополнять кластер с поддержкой Kerberos, расширяя охват API REST для предприятия. Он также предоставляет некоторые дополнительные интеграционные решения для доступа конечного пользователя.

Если вам нужна настоящая безопасность Hadoop, вам нужно обратиться к параметрам развертывания Hadoop kerberos.

Теперь о совместимости с knox/CDH...

Поддерживаемые версии служебных компонентов для Knox 0.4.0, к сожалению, плохо соответствуют версии CDH 4.5. Похоже, что даже релизы 0.3.0 новее, чем CDH 4.5.

CDH 5.0 выглядит лучше, хотя HBase все еще отстает. из того, что я вижу здесь - я могу только предположить, что это точно.

Мое предложение было бы попробовать Apache Knox против CDH 5 и задействовать сообщество knox с любыми трудностями - могут быть обходные пути, с которыми мы можем помочь. В зависимости от ваших потребностей REST - может быть достаточно выравнивания, чтобы получить то, что вам нужно.