Сервер livy отправляет jar каждый раз, когда отправляется пакетное задание
При отправке пакетного задания Apache Spark с использованием сервера Livy он загружает файл jar (содержащий приложение) каждый раз, т. Е. Для каждой отправки пакетного задания. Кажется, это увеличивает время отправки задания. Есть способ отослать присутствующий в искре банку мастер локальный каталог?
1 ответ
Я не уверен, говорите ли вы о загрузке файлов JAR с клиента Livy на сервер Livy или с сервера Livy в кластер Spark. Если это происходит от клиента Livy к серверу, то я считаю, что размещение этих jar-файлов в /usr/lib/livy/repl_2.11-jars сделает эту работу.