Spark Jobserver max-jobs-per-context

Question

Как бы вы определили безопасное максимальное пороговое значение для параметра max-jobs-per-context, который управляет количеством одновременных заданий Spark, запущенных в контексте? Что произойдет, если вы поднимитесь слишком высоко? По умолчанию установлено значение 8 (см. Ссылку ниже), и я хотел бы установить его выше, но я не уверен, что произойдет, если вы установите его слишком высоко.

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/main/resources/application.conf

Answer 1

Подход, который мы используем в производственной среде, заключается в том, чтобы поставить очередь перед сервером рабочих заданий spark и контролировать отправку заданий. В SJS нет встроенного механизма очередей.