Проблема при создании нескольких Avro Flume Sink в Spark Streaming
Мне нужно подключить несколько приемников Flume к Spark Streaming, это мой файл flume:
agent1.sinks.sink1a.type = avro
agent1.sinks.sink1a.hostname = localhost
agent1.sinks.sink1a.port = 9091
agent1.sinks.sink1b.type = avro
agent1.sinks.sink1b.hostname = localhost
agent1.sinks.sink1b.port = 9092
Но только 9091 порт подключается 9092 не может подключиться
Вот мой искровой код для создания нескольких потоков Flume:
val sparkConf = new SparkConf().setAppName("WordCount")
val ssc = new StreamingContext(sparkConf, Seconds(20))
val rawLines = FlumeUtils.createStream(ssc,"localhost", 9091)
val rawLines1 = FlumeUtils.createStream(ssc,"localhost", 9092)
val lines = rawLines.map{record => {
(new String(record.event.getBody().array()))}}
val lines1 = rawLines1.map{record1 => {
(new String(record1.event.getBody().array()))}}
val lines_combined = lines.union(lines1)
val words = lines_combined.flatMap(_.split(" "))
Что я делаю не так?