Spark Streaming (Spark 1.6) с использованием CommitAsync API от Kafka 0.10

Нам нужно использовать commitAsync API потребителя Кафки. Он доступен с версиями Kafka 0.9 и 0.10.

Можно ли использовать версию Spark Streaming 1.6 с Kafka 0.10?

Что касается блогов и сайтов, которые я читал, Kafka 0.10 используется / поддерживается только в версии Spark 2.1 (X).

Сама Кафка укажет на ссылку ниже: https://blog.cloudera.com/blog/2017/06/offset-management-for-apache-kafka-with-apache-spark-streaming/

0 ответов

Другие вопросы по тегам