NoSuchMethodError: KafkaConsumer.subscribe

Question

Я использую следующие зависимости:

val akkaVersion = "2.4.9"
val kafkaVersion = "0.10.0.1"

dependencies =  ...
  "com.typesafe.akka" %% "akka-actor" % akkaVersion,
  "com.typesafe.akka" %% "akka-cluster" % akkaVersion,
  "com.softwaremill.reactivekafka" %% "reactive-kafka-core" % "0.10.0"   
        excludeAll(
          ExclusionRule("org.slf4j", "log4j-over-slf4j"),
          ExclusionRule("org.apache.kafka", "kafka_2.11")),
   "org.apache.kafka" % "kafka_2.11" % kafkaVersion,
   "org.apache.kafka" % "kafka-clients" % kafkaVersion,
   "org.apache.kafka" % "connect-json" % kafkaVersion

И есть актер:

class ExpKafkaActor extends Actor {

   override def preStart(): Unit = {
    super.preStart()
    val kafka = new ReactiveKafka()

    val publisher = kafka.consume(ConsumerProperties(
      bootstrapServers = "localhost:9092",
      topic = "someTopicName",
      groupId = "groupName",
      valueDeserializer = new StringDeserializer()
    ))

    Source.fromPublisher(publisher).map(m => {
      val message = ProducerMessage(m.value().toUpperCase)
      log.info(s"handle message ${m.value()}")
      message
    })
   }
   ...
}

Затем я пытаюсь запустить вышеупомянутый актер, и возникает следующее исключение:

java.lang.NoSuchMethodError:
 org.apache.kafka.clients.consumer.KafkaConsumer.subscribe

Я нашел следующую проблему, но это не помогает. Как я могу разрешить этот конфликт API?

Answer 1

Эта проблема связана с несовместимостью API клиента Kafka. Пожалуйста, используйте правильную зависимость как часть вашего проекта pom.xml:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>{kafka.version}</version>
</dependency>

ex: for Kafka 0.10.2.0, use the following one
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.10.2.0</version>
</dependency>