Пользовательский логгер, использующий log4j для приложения Spark Scala при выполнении с помощью oozie

Question

Я разработал приложение spark scala и использовал log4j для logger, и он работает нормально, когда я выполняю его с помощью spark-submit, как показано ниже:

spark-submit --name "Test" --class com.comp.test  --conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/home/myid/log4j.properties' --queue=root.user /home/myid/dev/data.jar 

Работает нормально, и я получаю файл журнала, созданный в указанном каталоге в log4j.properties.

Теперь, когда я запускаю то же самое с использованием искры Oozie, файл журнала в определенном каталоге, как упомянуто в log4j.properties, не создается.

log4j.properties:

log4j.appender.myConsoleAppender=org.apache.log4j.ConsoleAppender
log4j.appender.myConsoleAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.myConsoleAppender.layout.ConversionPattern=%d [%t] %-5p %c - %m%n

log4j.appender.RollingAppender=org.apache.log4j.DailyRollingFileAppender
log4j.appender.RollingAppender.File=/home/myid/dev/log/dev.log
log4j.appender.RollingAppender.DatePattern='.'yyyy-MM-dd
log4j.appender.RollingAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.RollingAppender.layout.ConversionPattern=[%p] %d %c %M - %m%n


# By default, everything goes to console and file
log4j.rootLogger=INFO, myConsoleAppender, RollingAppender

# The noisier spark logs go to file only
log4j.logger.spark.storage=INFO, RollingAppender
log4j.additivity.spark.storage=false
log4j.logger.spark.scheduler=INFO, RollingAppender
log4j.additivity.spark.scheduler=false
log4j.logger.spark.CacheTracker=INFO, RollingAppender
log4j.additivity.spark.CacheTracker=false
log4j.logger.spark.CacheTrackerActor=INFO, RollingAppender
log4j.additivity.spark.CacheTrackerActor=false
log4j.logger.spark.MapOutputTrackerActor=INFO, RollingAppender
log4j.additivity.spark.MapOutputTrackerActor=false
log4j.logger.spark.MapOutputTracker=INFO, RollingAppender
log4j.additivty.spark.MapOutputTracker=false

Рабочий процесс Oozie:

<workflow-app name="OozieApp" xmlns="uri:oozie:workflow:0.5">
    <start to="LoadTable"/>
    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <action name="LoadTable">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapreduce.job.queuename</name>
                    <value>root.user</value>
                </property>
            </configuration>
            <master>yarn</master>
            <mode>client</mode>
            <name>OozieApp</name>
              <class>com.comp.test</class>
            <jar>data.jar</jar>
              <spark-opts>--queue=root.user --conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/home/myid/log4j.properties' </spark-opts>

        </spark>
        <ok to="End"/>
        <error to="Kill"/>
    </action>
    <end name="End"/>
</workflow-app>

Не могли бы вы помочь мне получить пользовательский журнал, созданный в каталоге журналов при выполнении с помощью действия oozie spark?

Я могу использовать shell action и использовать spark-submit, но я предпочитаю сам spark action.