livy - сервер ограничивает количество заданий
Я ищу какую-то конфигурацию, чтобы ограничить мой сервер livy не более чем X ядрами или количеством заданий, я видел, что кто-то уже спрашивал об этом в вопросах Jira ( https://issues.cloudera.org/browse/LIVY-74), и ему ответили, что Yarn это делает, но мне не нужна пряжа, так как я не хочу контролировать свои задания / сеансы на пользователя и у меня нет других ресурсов для управления, кроме spark.
1 ответ
Вы можете взять эти свойства в качестве примера:
livy.spark.driver.cores 1
livy.spark.driver.memory 512m
livy.spark.dynamicAllocation.cachedExecutorIdleTimeout
livy.spark.dynamicAllocation.enabled true
livy.spark.dynamicAllocation.initialExecutors 1
livy.spark.dynamicAllocation.maxExecutors 5
livy.spark.dynamicAllocation.minExecutors 1
livy.spark.executor.cores 2
livy.spark.executor.instances 5
livy.spark.executor.memory 2G
Начиная с Livy 0.5, теперь есть настройка конфигурации, ограничивающая количество параллельно выполняемых заданий. Настройка называетсяlivy.server.session.max-creation
:
// Max creating session in livyServer
val SESSION_MAX_CREATION = Entry("livy.server.session.max-creation", 100)