YARN: Контроль параллелизма заданий

Question

Я пытался использовать очереди ресурсов YARN для контроля за конкуренцией, контролируя количество заданий (у меня только задания MR, никаких других приложений YARN) в любой момент времени. Ситуация у меня такая -

У меня есть служба, которая принимает запросы от пользователей и запускает некоторые отчеты (как задания MR). Эти рабочие места могут иногда занимать много времени, и в пиковое время эти рабочие места ведут борьбу за ресурсы, и слишком большое совместное использование означает, что ни одна работа не сможет добиться достойного прогресса. Я пытаюсь минимизировать количество отчетов, которые могут работать в очереди в любой момент времени.

Я мог бы сделать часть этого, установив максимальное количество запущенных приложений в очереди на желаемое значение. Теперь я могу отправлять приложения / задания MR в кластер, и только (скажем, 'n') задания выполняются в любой момент времени. Теперь проблема в том, что нет способа упредить задачи в одной очереди (или я не знаю ни одной). Мне бы хотелось, чтобы я мог отправлять задания в эту очередь таким образом, чтобы при наличии одного задания оно занимало всю очередь, а при наличии двух заданий некоторые задания первого задания убивались, и оба задания имели равные Ресурсы и третье задание - дальнейшее разделение ресурсов и т. д. (в основном FairShareScheduler работает с вытеснением, но внутри одной очереди вместо нескольких очередей).

Это возможно? У меня только один пользователь (мой сервис), который отправляет вакансии прямо сейчас. Я мог бы распространять пользователя моего сервиса до кластера (что я не предпочитаю, но мог бы делать, если нет другого выхода), чтобы создавать подпоследовательности на основе пользователя. Но тогда я не знаю, как получить желаемое поведение, так как есть много пользователей, и я не уверен, как установить лимит (вес) для очереди, не зная имя очереди (которая будет создана при отправке задания),

Заранее благодарю за любую помощь.

Answer 1

Я обнаружил, что невозможно выгрузить контейнеры в одной очереди. Я работал с компромиссом.