Невозможно увидеть журналы StreamingLens в журнале приложений Spark

Я пытаюсь реализовать StreamingLens в моем существующем потоковом приложении. Мое приложение работает нормально и загружает данные из одной темы кафки в другую тему кафки. Но в амбари я не могу видеть отчеты StreamingLens, когда я делал это для пакетного приложения с использованием Sparklence, я мог видеть журналы, сгенерированные Sparklense, со всей информацией о ресурсах, но тот же отчет, который я не могу увидеть для потокового приложения, может кто-нибудь предложить, если Мне нужно сделать дополнительный код или где я должен проверять отчеты, которые должен генерировать StreamingLens.

Мой пример кода

            class SparkStreamingLens(spark: SparkSession, options: RequestBuilder)
      object SparkStreamingLens {
      def main(args: Array[String]): Unit = {
      println(" Spark Parameters are :")
      val igniteDetails = args(0)  
      val applicationName = args(1)
      val argumentTable = args(2)
      // options.addParameter("streamingLens.reporter.intervalMinutes", "1")
      val spark = SparkSession
      .builder()
      .appName(applicationName)
      .getOrCreate()
      val streamingLens = new SparkStreamingLens(spark, options)
      // Remaining Code to Read from Kafka and write Into Kafka(Streaming Data)
      }
      }

  spark-submit Command:

  spark-submit \
  --verbose \
  --name SparkStreamingLens \
  --num-executors 1  \
  --conf streamingLens.reporter.intervalMinutes=1  \
  --jars /home/abc/jars/spark-streaminglens_2.11-0.5.3.jar,\
 /home/abc/jars/kafka-clients-0.10.2.1.jar,\
  --master yarn \
  --deploy-mode cluster \
  --driver-cores 1  --driver-memory 2G  --executor-cores 1  --executor-memory 2G \
  --supervise --class com.jpb.datalake.SparkStreamingLens \
 /home/abc/jar/SparkStreamingLens-spark-utility_2.11-1.0.jar  \
 "jdbc:ignite:thin://00.000.00.00:00000;distributedJoins=true;user=aaaaaa;password=aaaaaaa;"  \
 SparkStreamingLens \
 argumentTable

0 ответов

Другие вопросы по тегам