Кило | Visual Query Spark Job - режим кластера и клиента

Question

По умолчанию визуальный запрос запускается в локальном режиме. Какие параметры рекомендуется использовать для Visual Query, когда вы запускаете Kylo в производство с большим объемом данных?

Спасибо Шаши

Answer 1

Для этого вы можете отредактировать здесь: -

/opt/kylo/kylo-services/bin/run-kylo-spark-shell.sh

После "искра-подчинение".

Answer 2

Я попытался запустить искровое задание визуального запроса в режиме кластера пряжи, похоже, он работает нормально. Ниже приведены мои наблюдения по каждому режиму.

Локальный режим: он работает довольно хорошо, но оказывает давление на краевой узел, так как ищет память и ядра только от краевого узла.

yarn-client: чтобы избежать ограничения краевого узла, мы настраиваем визуальный запрос для запуска режима клиента yarn. Но однажды у нас произошел сбой диска и визуальный запрос не сработал, так как был выдан файл, исключение не найдено Удивительно, но он не искал другую копию файла на другом узле (концепция репликации HDFS).

yarn-cluster: этот режим дал нам лучшую производительность, и мы смогли избежать исключения файлов, не найденных. Но единственная проблема, с которой мы столкнулись, была из-за подхода к разработке визуального запроса. Когда вы запускаете сервер оболочки оболочки для визуального запроса, он создает контекст искры, и этот контекст никогда не умирает, пока вы не убьете свое приложение сервера спарк. Как следствие этого, в пользовательском интерфейсе менеджера ресурсов пряжи вы всегда обнаружите, что сервер Thinkbig Spark работает и никогда не освобождает ресурсы, пока не завершит работу своего приложения.

Вероятно, мы должны попытаться улучшить визуальный запрос, поскольку он является одной из самых крутых функций в Kylo.