Невозможно увидеть журналы StreamingLens в журнале приложений Spark
Я пытаюсь реализовать StreamingLens в моем существующем потоковом приложении. Мое приложение работает нормально и загружает данные из одной темы кафки в другую тему кафки. Но в амбари я не могу видеть отчеты StreamingLens, когда я делал это для пакетного приложения с использованием Sparklence, я мог видеть журналы, сгенерированные Sparklense, со всей информацией о ресурсах, но тот же отчет, который я не могу увидеть для потокового приложения, может кто-нибудь предложить, если Мне нужно сделать дополнительный код или где я должен проверять отчеты, которые должен генерировать StreamingLens.
Мой пример кода
class SparkStreamingLens(spark: SparkSession, options: RequestBuilder)
object SparkStreamingLens {
def main(args: Array[String]): Unit = {
println(" Spark Parameters are :")
val igniteDetails = args(0)
val applicationName = args(1)
val argumentTable = args(2)
// options.addParameter("streamingLens.reporter.intervalMinutes", "1")
val spark = SparkSession
.builder()
.appName(applicationName)
.getOrCreate()
val streamingLens = new SparkStreamingLens(spark, options)
// Remaining Code to Read from Kafka and write Into Kafka(Streaming Data)
}
}
spark-submit Command:
spark-submit \
--verbose \
--name SparkStreamingLens \
--num-executors 1 \
--conf streamingLens.reporter.intervalMinutes=1 \
--jars /home/abc/jars/spark-streaminglens_2.11-0.5.3.jar,\
/home/abc/jars/kafka-clients-0.10.2.1.jar,\
--master yarn \
--deploy-mode cluster \
--driver-cores 1 --driver-memory 2G --executor-cores 1 --executor-memory 2G \
--supervise --class com.jpb.datalake.SparkStreamingLens \
/home/abc/jar/SparkStreamingLens-spark-utility_2.11-1.0.jar \
"jdbc:ignite:thin://00.000.00.00:00000;distributedJoins=true;user=aaaaaa;password=aaaaaaa;" \
SparkStreamingLens \
argumentTable