Настройте IBM Open Platform с внешней базой данных Oracle
Я немного сбит с толку, когда пытаюсь установить кластер IBM Open Platform с одним узлом, используя базу данных Oracle в качестве СУБД.
Во-первых, я понимаю, что часть Hadoop IBM Big Insights не является модифицированной версией соответствующей версии Apache (как это делают HortonWorks), поэтому, когда Ambari (из репозитория IBM) предлагает мне использовать внешнюю базу данных Oracle, я полагаю, должно сработать. Я могу ошибаться, и я не могу найти какую-либо ссылку на оракула в дрянном руководстве по установке IBM, чтобы правильно настроить его (только то, что он должен работать с Oracle 11g R2)
Итак, как и в случае с эквивалентным дистрибутивом HortonWorks (но с использованием двоичных файлов от IBM), я настроил свой ambari-сервер со всеми параметрами оракула (--jdbc-db=oracle --jdbc-driver=path/to/ojdbc6.jar, я использую Oracle 11g XE на Centos 6.5, который должен поддерживаться IOP), и я указал все, что мне нужно было указать, чтобы использовать Ambari с Oracle (Service Name, Host, Port, ...) I создал пользователя ambari, загрузил соответствующий Oracle DDL (в комплекте с Ambari) и создал моих пользователей Hive & Oozie, как указано в... руководстве по установке Hortonworks. Что ж, Ambari, похоже, хорошо работает с Oracle, я могу настроить свой кластер до последнего шага:
- Если я настраиваю Hive и / или oozie для работы с oracle (проверка соединения oracle в порядке на вкладке конфигурации службы), то на этапе "просмотра" (шаг 8) ничего не отображается (или иногда репозитории IOP, кажется, быть произвольным). Попытка развертывания запускает подготовку задач и подразумевает состояние блокировки установки: я не могу ничего сделать, кроме как сбросить базу данных и перезагрузить весь DDL, чтобы повторить попытку (или я получу много неожиданных исключений NullPointerException)
- Если я настрою Hive AND Oozie для работы со встроенным MySQL (выбор по умолчанию), оставив Ambari против Oracle, все будет работать нормально.
Я делаю что-то неправильно?? Или есть какие-то ограничения для настройки (IBM Open Platform) Hive и Oozie для использования Oracle 11? (когда он работает с HortonWorks - той же версией Apache - и Cloudera Distribution)
Конечно, файлы журнала ничего мне не говорят...
ОБНОВИТЬ:
Я попытался установить IOP 4.1, сначала используя MySQL в качестве базы данных Ambari, Hive и Oozie, все было хорошо. Затем я попытался установить IOP 4.1 с Oracle 11 XE в качестве внешней базы данных (я настроил оракула, создал пользователей ambari, hive и oozie oracle и загрузил схему Ambari Oracle, предоставленную с IOP 4.1, и я настраиваю тот же кластер, что и в первый раз, указав особенности Oracle для Hive, Oozie (и Sqoop (драйвер Oracle)). Перед развертыванием сервисов на всех узлах Ambari должен возобновить то, что собирается установить, но этого не происходит: иногда он ничего не показывает, иногда он показывает только URL-адреса репозитория IOP. Затем, пытаясь выполнить развертывание, он запускает подготовительные задачи, но никогда не завершает. И все. Никакого сообщения, никакого журнала, ничего, он просто застревает. Так как нужные компоненты IOP 4.1 в той же версии в HDP 2.3 (Ambari 2.1, Hive 1.2.1, oozie 4.2.0, hadoop 2.7.1, pig 0.15.0, sqoop 1.4.6 и zookeeper 3.4.6) я пытался настроить точно такой же кластер с HDP 2.3, Oracle 11 XE, ... и все заработало. Я заметил, что HDP 2.3 заставляет меня использовать SSL, а IOP - нет т. По умолчанию HDP работает с Oracle JDK 1.8, а IOP фактически предлагает вместо этого использовать OpenJDK 1.8. Я не знаю, имеет ли это значение, я постараюсь быть уверенным... Я сделаю снимки экрана Ambari, когда он блокируется, и скопирую следы журнала, даже если нет сообщения об ошибке...
Если у кого-нибудь есть идея, пожалуйста, поделитесь ею! Спасибо!
1 ответ
Попытка выполнить ту же установку с использованием Oracle JDK 1.8 все работает отлично.
Я не знаю, есть ли какие-либо ограничения при использовании драйвера JDBC Oracle с OpenJDK 1.8, но работает Oracle 11 XE с IOP 4.1 + Oracle JDK 1.8 работает.