Как установить и настроить минимальную систему Apache Atlas?

Question

Я студент, и эти вопросы меня расстраивают несколько недель, пожалуйста, помогите мне.

По словам разработчика в некотором сообществе, для работы Atlas требуется Hive, а именно минимальная система Atlas должна состоять из Atlas, Hive, Hadoop и RDBMS, такой как MySQL.

Я также провел много исследований и прочитал учебник на https://github.com/shivajid/atlas. Но этот урок основан на HDP, и мой учитель требует от меня самостоятельно настроить минимальную систему.

Я подражал этому уроку Шиваджид / Атлас, упомянутому выше, и суммировал некоторые основные шаги этого урока:

Шаг 1: Загрузите Hadoop и настройте его.

Шаг 2: Выполните git clone, чтобы получить исходный код Atlas, соберите его с помощью maven и настройте его.

--- После этого шага я запустил сервер Atlas, чтобы проверить, работает ли сервер, я использовал веб-браузер, чтобы посетить " localhost:21000/api/atlas/admin/version", и он показал некоторую версию Информация. но когда я попытался посетить "localhost:21000" или "localhost:21000/dashboard", он показал ошибку HTTP 500. Это мой первый вопрос.

Шаг 3: Установите MySQL-сервер, создайте пользователя MySQL и предоставьте ему привилегии.

Шаг 4: Получите двоичный Hive и настройте MySQL как хранилище метаданных Hive.

Шаг 5: Выполните скрипт "MySQLSourceSystem.dll", который идет из учебника по shivajid / atlas на github.

Шаг 6: Импортируйте данные из "drivers.csv" и "timesheet.csv" в таблицы в MySQL.

Шаг 7: Выполнить скрипт quick_start.py, который в ${atlas_dir}/bin. --- Но сообщается, что на сервер Apache Atlas не было добавлено никаких данных. Это мой второй вопрос, и я остановлюсь здесь и сейчас.

Следующие шаги, которые были объяснены в руководстве, не были выполнены:

Шаг 8: Выполнить скрипт sqoop_job.sh

Шаг 9: Проверка таблиц в Hive

Шаг 10: Проверьте метаданные в веб-интерфейсе Atlas.

Резюме:

Я провел много исследований по настройке минимальной системы Atlas, но потерпел неудачу, поэтому я завершил свои основные шаги, показанные выше.

Но это все еще много проблем:

1. После запуска сервера Atlas (шаг 2), почему я не смог зайти на " http://localhost:21000/dashboard" и получил ОШИБКУ 500.

2. После выполнения quick_start.py (Шаг 7), почему он сообщает, что на сервер Apache Atlas не было добавлено никаких данных?

3. Я думаю, что учебник по shivajid / atlas на github устарел, который был опубликован в сентябре 2015 года, и он должен использовать HDP sanbox. Может ли кто-нибудь дать мне или помочь мне написать краткий учебник по минимальной системе Atlas, который просто завершает эти компоненты: Atlas, Hive, Hadoop, MySQL.

Это мой электронный адрес: [e-mail]. Если у кого-то есть какие-либо относительные материалы или материалы, отправьте их мне.

Большое спасибо. Спасибо!

Answer 1

Хотя вопрос не в поиске простого пути, я хочу начать с этой подсказки для будущих читателей:

Если вы хотите использовать Atlas, безусловно, самый простой способ - использовать HDP. Это легко позволит вам настроить Atlas через Ambari.

---

Если вы хотите установить Atlas вручную, в любой момент проверьте документацию.

Основную документацию можно найти здесь: https://atlas.apache.org/

Также может помочь текущая версия документации Atlas для HDP: https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.1.0/installing-atlas/content/install_atlas.html

С первого взгляда вам понадобится больше, чем вы ожидали, в частности HBase.