Как я могу использовать весенние данные для Apache Hadoop для CDH 5.4.x?

В официальном документе отмечается, что "Spring for Apache Hadoop 2.2 GA" поддерживает только CDH 5.3.3.

Есть ли способ использовать "Spring Data Hadoop" для CDH 5.4.X, или я должен ждать следующей версии? Будет ли версия 2.3 поддерживать CDH 5.4.x?

Редактировать:

Я завершил этот образец hbase и этот весенний пример загрузки с помощью быстрого запуска Cloudera VM cdh 5.4.2 . Поэтому я думаю, что если вы просто хотите что-то сделать с Hbase или оболочкой hadoop в CDH 5.4.X, "Spring for Apache Hadoop 2.2 GA" может вас удовлетворить. Если нет, пожалуйста, посмотрите ответ Томаса Рисберга ниже.

Библиотека, которую я использовал в образце Hbase:

        <spring.version>4.1.7.RELEASE</spring.version>
        <spring.hadoop.version>2.2.0.RELEASE-cdh5</spring.hadoop.version>
        <hadoop.version>2.6.0-cdh5.4.2</hadoop.version>
        <hbase.version>1.0.0-cdh5.4.2</hbase.version>

Библиотека, которую я использовал в образце весенней загрузки:

        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-hadoop-boot</artifactId>
            <version>2.2.0.RELEASE-cdh5</version>
        </dependency>

1 ответ

Решение

Следующая версия 2.3 будет поддерживать CDH 5.4 - https://jira.spring.io/browse/SHDP-494

Поскольку 5.4 использует Hive 1.x, мы должны удалить наш код Hive/Thrift и добавить аналогичную поддержку Hiveserver2/JDBC. Как только это будет сделано, мы можем перейти на CDH 5.4.

Я ожидаю, что релиз 2.3 M1 будет доступен где-то к середине-концу августа.

Другие вопросы по тегам