Многопоточность и динамическое распределение Spark Job Server

Question

У меня были довольно большие ожидания от Spark Job Server, но я обнаружил, что в нем критически не хватает документации.

Не могли бы вы ответить на один / все следующие вопросы:

1. Spark Job Server отправляет задания через сеанс Spark?
2. Можно ли запустить несколько заданий параллельно с Spark Job Server? Я видел, что люди столкнулись с некоторыми проблемами, я еще не видел решения.
3. Можно ли параллельно запускать несколько заданий с разными процессорами, ядрами, конфигами исполнителей?

Answer 1

1. SparkServer не поддерживает SparkSession. Мы будем работать над этим.
2. Либо вы можете создать несколько контекстов, либо запустить контекст для использования планировщика FAIR.
3. Используйте разные контексты с разными конфигурациями ресурсов.

По сути, сервер заданий - это просто API отдыха для создания искровых контекстов. Таким образом, вы должны быть в состоянии сделать то, что вы могли бы сделать с контекстом искры.