Включение SSL между Apache spark и Kafka broker

Question

Я пытаюсь включить SSL между моим Apache Spark 1.4.1 и Kafka 0.9.0.0, и я использую spark-streaming-kafka_2.10 Баночка для подключения к Кафке и я использую KafkaUtils.createDirectStream Способ чтения данных из темы Кафки.

Первоначально у меня возникла проблема с OOM, и я решил ее, увеличив объем памяти драйвера, после чего я увидел проблему ниже, я немного прочитал и обнаружил, что spark-streaming-kafka_2.10 использует API Kafka 0.8.2.1, который не поддерживает SSL (Kafka поддерживает SSL только после версий 0.9.0.0). Существуют ли альтернативы для включения SSL между Spark 1.4.1 и Kafka 0.9.0.0.

• http://grokbase.com/p/kafka/users/158wy0wtxk/ssl-between-kafka-and-spark-streaming-api
• SSL между Кафкой и Спарк
• http://spark.apache.org/docs/latest/streaming-kafka-integration.html
• https://issues.apache.org/jira/browse/SPARK-15089

Вот лог

iableProperties: Property security.protocol is not valid
16/10/24 18:25:09 WARN utils.VerifiableProperties: Property ssl.truststore.location is not valid
16/10/24 18:25:09 WARN utils.VerifiableProperties: Property ssl.truststore.password is not valid
16/10/24 18:25:09 INFO utils.VerifiableProperties: Property zookeeper.connect is overridden to 
16/10/24 18:25:09 INFO consumer.SimpleConsumer: Reconnect due to error

Exception in thread "main" org.apache.spark.SparkException: java.io.EOFException
org.apache.kafka.common.network.NetworkReceive.readFromReadableChannel(NetworkReceive.java:99)

Answer 1

Поддержка Kafka 0.10 (которая имеет поддержку SSL) была добавлена ​​в Spark 2.0. мы должны использовать артефакт maven spark-streaming-kafka-0-10_2.10.