livy - сервер ограничивает количество заданий

Я ищу какую-то конфигурацию, чтобы ограничить мой сервер livy не более чем X ядрами или количеством заданий, я видел, что кто-то уже спрашивал об этом в вопросах Jira ( https://issues.cloudera.org/browse/LIVY-74), и ему ответили, что Yarn это делает, но мне не нужна пряжа, так как я не хочу контролировать свои задания / сеансы на пользователя и у меня нет других ресурсов для управления, кроме spark.

1 ответ

Вы можете взять эти свойства в качестве примера:

livy.spark.driver.cores 1
livy.spark.driver.memory    512m
livy.spark.dynamicAllocation.cachedExecutorIdleTimeout  
livy.spark.dynamicAllocation.enabled    true
livy.spark.dynamicAllocation.initialExecutors   1
livy.spark.dynamicAllocation.maxExecutors   5
livy.spark.dynamicAllocation.minExecutors   1
livy.spark.executor.cores   2
livy.spark.executor.instances   5
livy.spark.executor.memory  2G

Начиная с Livy 0.5, теперь есть настройка конфигурации, ограничивающая количество параллельно выполняемых заданий. Настройка называетсяlivy.server.session.max-creation:

// Max creating session in livyServer
val SESSION_MAX_CREATION = Entry("livy.server.session.max-creation", 100)

Это PR, который его представил.

Другие вопросы по тегам