Как я могу использовать весенние данные для Apache Hadoop для CDH 5.4.x?
В официальном документе отмечается, что "Spring for Apache Hadoop 2.2 GA" поддерживает только CDH 5.3.3.
Есть ли способ использовать "Spring Data Hadoop" для CDH 5.4.X, или я должен ждать следующей версии? Будет ли версия 2.3 поддерживать CDH 5.4.x?
Редактировать:
Я завершил этот образец hbase и этот весенний пример загрузки с помощью быстрого запуска Cloudera VM cdh 5.4.2 . Поэтому я думаю, что если вы просто хотите что-то сделать с Hbase или оболочкой hadoop в CDH 5.4.X, "Spring for Apache Hadoop 2.2 GA" может вас удовлетворить. Если нет, пожалуйста, посмотрите ответ Томаса Рисберга ниже.
Библиотека, которую я использовал в образце Hbase:
<spring.version>4.1.7.RELEASE</spring.version>
<spring.hadoop.version>2.2.0.RELEASE-cdh5</spring.hadoop.version>
<hadoop.version>2.6.0-cdh5.4.2</hadoop.version>
<hbase.version>1.0.0-cdh5.4.2</hbase.version>
Библиотека, которую я использовал в образце весенней загрузки:
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-hadoop-boot</artifactId>
<version>2.2.0.RELEASE-cdh5</version>
</dependency>
1 ответ
Следующая версия 2.3 будет поддерживать CDH 5.4 - https://jira.spring.io/browse/SHDP-494
Поскольку 5.4 использует Hive 1.x, мы должны удалить наш код Hive/Thrift и добавить аналогичную поддержку Hiveserver2/JDBC. Как только это будет сделано, мы можем перейти на CDH 5.4.
Я ожидаю, что релиз 2.3 M1 будет доступен где-то к середине-концу августа.