Не удалось установить hadoop с помощью Cloudera Manager

Question

Я пытаюсь настроить кластер hadoop на одной виртуальной машине (для простоты) с помощью cloudera Manager 5.9. Ниже приведены подробности моего окружения:

Host OS -> Windows 10
Virtualization software -> Virtual box 5.1.10
Guest OS -> Cent OS 6.8

Я установил Cloudera Manager и, следуя инструкциям Cloudera Manager, выполнил следующие действия.

Большинство этапов установки прошли нормально, но при последней проверке это не удалось. Ниже приведен снимок экрана с этим.

Как видно на скриншоте, он дает ошибку:
"Неожиданная ошибка. Невозможно проверить соединение с базой данных."

Я внес необходимые изменения в конфигурационные файлы БД Postgres, которые Cloudera использует по умолчанию, то есть он должен иметь возможность принимать удаленные подключения.

В логах менеджера Cloudera ошибок нет. Я сделал поиск в Интернете, но безуспешно.

Может кто-нибудь помочь мне решить эту ошибку?

Answer 1

Прежде всего, убедитесь, что вы запустили встроенную БД. Поскольку другие тесты пропущены, возможно, ваш сервер не работает.:

sudo service cloudera-scm-server-db start

Я не думаю, что это ваш случай, так как КМ, кажется, работает.

Итак, если вы уже запустили встроенную базу данных и у вас все еще есть проблемы такого рода, проблемы обычно исходят с двух разных сторон:

• Проблемы с БД: это может быть очевидно, но я не думаю, что это ваш случай. В моем случае я не настроил pg_hba.conf, чтобы сделать доступ к моему postgresql инкриминируемой ролью (здесь, RMAN). Но, как я уже сказал, вы, похоже, используете встроенный cloudera postgres, так что я не думаю, что это ваш случай.
• Проблема с Python: Иногда, по причине, которую я не могу контролировать, некоторые символические ссылки на библиотеки Python теряются в процессе установки. Когда вы уже устанавливаете свой кластер, hue является отличным кандидатом для воздействия, но службы Cloudera также являются хорошими кандидатами, когда вы пытаетесь настроить свою БД. В этом случае проверьте журнал агента вашего cloudera (/var/log/cloudera-scm-agent/cloudera-scm-agent.log), и вы должны увидеть кое-что о psycopg2. Если это так, вам нужно только создать следующую символическую ссылку:

sudo ln -s /usr/lib64/python2.7/site-packages/psycopg2 /opt/cloudera/parcels/CDH/lib/hue/build/env/lib/python2.7/site-packages/psycopg2

В любом случае, если вы пытаетесь понять, как установить CDH, я рекомендую вам не использовать встроенную БД Postgres, а вместо этого использовать Postgres как внешнюю БД (на той же машине). Cloudera Manager использует некоторые скрипты для генерации множества вещей (паролей, конфигов, ...), которые вы пропустите, если будете использовать встроенную версию postgres.

С другой стороны, если вы хотите получить доступ к кластеру CDH 5.9+ с одним узлом, чтобы выполнить некоторые тесты, загрузите быстрый старт и следуйте руководству по cloudera, чтобы обновить кластер до более новой версии.