Запрос исполнителей, потому что задачи забиты
У меня есть приложение для потокового воспроизведения, которое до вчерашнего дня работало абсолютно нормально и внезапно натолкнулось на это предупреждение. У меня такая же среда и использую тот же код. Вот предупреждения:
05/09 17:13:03 ИНФОРМАЦИЯ ExecutorAllocationManager: Запрос 16 новых исполнителей из-за того, что задачи были засорены (новый желаемый итог будет 31) желаемый итог будет 50)
16/05/09 17:13:12 WARN YarnScheduler: Начальная работа не приняла никаких ресурсов; проверьте свой кластерный интерфейс, чтобы убедиться, что работники зарегистрированы и имеют достаточные ресурсы
16/05/09 17:13:27 ПРЕДУПРЕЖДЕНИЕ YarnScheduler: Начальная работа не приняла никаких ресурсов; проверьте свой кластерный интерфейс, чтобы убедиться, что работники зарегистрированы и имеют достаточные ресурсы
Я использую apache spark 1.6 на cloudera 5.5. Быстрый старт ВМ. В кластере не запущены приложения для использования доступных ресурсов.
Есть ли какие-либо конфигурации, которые будут сделаны.
Спасибо!
0 ответов
Quickstart vm был разработан для быстрого ознакомления с функциональностью и, вероятно, настроен так, чтобы "уместиться в коробке", а не для долгосрочной стабильности.
В общем, я рекомендую при проблемах с песочницами и быстрым запуском просто настроить новую, если она нужна.
В этом конкретном случае краткое руководство предназначено для CDH, для которого преемник (CDP) уже отсутствует.
CDP, платформа данных Cloudera, является преемницей CDH и HDP.
Если вы хотите проверить последнюю версию, существует пробная версия, которая подходит для большинства целей, для которых вы, возможно, захотите использовать быстрый запуск. Его можно скачать здесь.
Полное раскрытие информации: я сотрудник Cloudera, компании, стоящей за CDH и CDP.