В чем разница между livy.rsc.jars и livy.repl.jars?

Я работаю над ноутбуками Jupyter, использующими ядро ​​sparkmagic (spark-scala), которое использует Apache Livy для запуска искровых заданий.

В настоящее время я пытаюсь понять варианты создания сеансов с предоставленными пользователем зависимостями, например, jars.

Я знаю, в Jupyter я могу сделать что-то вроде:

%%configure -f
{"kind": "spark", 
 "executorMemory": "2G", 
 "executorCores": 4, 
 "jars": ["/path/to/library1.jar",
         "/path/to/library2"]}

Но потом я заметил другие варианты в LIVY_HOME/conf/livy.confособенно livy.resc.jars а также livy.repl.jars но я считаю, что описания не очень конкретны, или я не могу найти фактическую разницу между ними.

Я думаю, если они разделены, это для чего-то, но что именно?

0 ответов

Другие вопросы по тегам