DataStax Enterprise: Spark задание не регистрирует пользовательские сообщения
Я использую искру, которая является частью DSE 5.0.11. Невозможно записать сообщение из моей работы потоковой передачи Spark. Вот содержимое файла log4j.properties:
log4j.rootLogger=DEBUG, file
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=<PATH>/mylog.log
log4j.appender.file.MaxFileSize=5MB
log4j.appender.file.MaxBackupIndex=10
log4j.appender.file.layout=org.apache.log4j.PatternLayout
Даже mylog.log не генерирует.
Я пытаюсь запустить задание с помощью следующей команды, но не сработало.
dse spark-submit --jars $(echo <path>/lib/*.jar | tr ' ' ',') --executor-memory 1g --driver-memory 1g --total-executor-cores 3 --driver-java-options "-Dlog4j.configuration=file://<path>/lib/log4j.properties" --class <class-name> <jar-file>