Spark Streaming: textFileStream не контролирует папку или потоковые файлы
Ниже приведен мой код, и я наблюдаю за папкой, хранящейся в изолированной программной среде MapR (я также пытался использовать свою локальную файловую систему, все еще не работает) Я копирую / перемещаю (пробовал оба) новые файлы в папку, но получаю НЕТ ВЫХОД.
Программа не потоковая, а файлы
object Log_Stream extends Serializable{
val timeout = 10 // Terminate after N seconds
val batchSeconds = 2 // Size of batch intervals
def main(args: Array[String]): Unit = {
val offsetReset = "earliest"
val batchInterval = "2"
val pollTimeout = "1000"
val FolderPath = "maprfs:///user/vipulrajan/logs" //
val sparkConf = new SparkConf().setAppName("SensorStream").setMaster("local[2]").set("spark.testing.memory", "536870912")
val ssc = new StreamingContext(sparkConf, Seconds(batchInterval.toInt))
val messages = ssc.textFileStream(FolderPath)
println("message values received")
//val myData = values.map(x =>{parseSensor(x)})
messages.print()
// Start the computation
ssc.start()
// Wait for the computation to terminate
ssc.awaitTermination()
}
}
Я также попытался переименовать и отредактировать их, но безрезультатно. Я не отправляю код с помощью spark submit, я запускаю его прямо из Eclipse.