Установка Apache Kylin без Песочницы
Мне было интересно, есть ли какие-либо ресурсы, касающиеся установки Apache Kylin без какой-либо песочницы (например, cloudera, hortonworks). Мне удалось сделать следующее:
- Установите Hadoop 2.6
- Установить улей
- Установить HBase
Затем я использовал бинарный файл с сайта kylin и до сих пор смог его запустить. Проблема начинается, когда я пытаюсь построить куб, задача сокращения карты застревает на шаге 2. Я думаю, что он все еще предполагает, что находится в режиме песочницы и вообще не передает работу в hadoop (в hadoop jobtracker нет записи)).
Поэтому мне нужно решение относительно двух: 1. Возможная конфигурация kylin в чистой настройке hadoop (без песочницы) 2. Как-то включить настройку kylin для отправки задания в hadoop.
2 ответа
В Kylin нет такой конфигурации с песочницей или без песочницы. Просто убедитесь, что машина, на которой работает Kylin, правильно настроена, и у вас все будет хорошо.
Под сценой, kylin.sh использования hbase classpath а также hive -e set | grep 'env:CLASSPATH' определить настройки Hadoop. Дважды проверьте, работают ли эти команды должным образом, если вы не уверены, к какому кластеру подключается Kylin.
Если у Kylin возникли проблемы с отправкой работ по MR, проверьте два места. Во-первых, это менеджер ресурсов hadoop, посмотрите, действительно ли задание было отправлено или нет. Иногда это просто медленно. Вторая проверка kylin.logпосмотрите, есть ли там какие-то исключения. Опубликуйте журнал в списке рассылки kylin dev, и кто-нибудь сможет помочь.
Вы можете установить hadoop-2.6, hive-0.14,hbase-0.98.8-hadoop2 со встроенным Zookeeper или внешним zookeeper-3.5. Теперь вы можете запустить на нем kylin-v1.1-release. Если вы все еще сталкиваетесь с проблемами, вставьте журнал здесь