Искра Динамическое распределение ресурсов в автономном
У меня есть вопрос / проблема относительно динамического распределения ресурсов. Я использую спарк 1.6.2 с автономным диспетчером кластеров.
У меня один рабочий с 2 ядрами. Я установил следующие аргументы в файле spark-defaults.conf на всех моих узлах:
spark.dynamicAllocation.enabled true
spark.shuffle.service.enabled true
spark.deploy.defaultCores 1
Я запускаю пример приложения со многими задачами. Я открываю порт 4040 на драйвере, и я могу убедиться, что вышеуказанная конфигурация существует.
Моя проблема в том, что независимо от того, что я делаю, мое приложение получает только 1 ядро, хотя другое ядро доступно.
Это нормально или у меня проблема в конфигурации?
Поведение, которое я хочу получить, таково: у меня много пользователей, работающих с одним и тем же кластером искр. Я хочу, чтобы каждое приложение получало фиксированное количество ядер, если остальная часть беспорядка не находится в состоянии ожидания. В этом случае я хочу, чтобы запущенные приложения получали общее количество ядер, пока не появится новое приложение...
Должен ли я пойти в Мезос для этого?