Spark Streaming (Spark 1.6) с использованием CommitAsync API от Kafka 0.10
Нам нужно использовать commitAsync
API потребителя Кафки. Он доступен с версиями Kafka 0.9 и 0.10.
Можно ли использовать версию Spark Streaming 1.6 с Kafka 0.10?
Что касается блогов и сайтов, которые я читал, Kafka 0.10 используется / поддерживается только в версии Spark 2.1 (X).
Сама Кафка укажет на ссылку ниже: https://blog.cloudera.com/blog/2017/06/offset-management-for-apache-kafka-with-apache-spark-streaming/