Кластер Hadoop с выпуском 0.23 (MRv2 или NextGen MR)
Как я вижу, последняя стабильная версия hadoop - 0.20.x. И последний выпуск - 0.23. , Кажется, есть много изменений от.20. до 0,23.х.
Мы можем настроить небольшой кластер со стабильным реле (0.20.2) и практиковать программирование mapreduce.
Мы видели много новых API, добавленных в 0.23.x. Чтобы изучить 0.23.x, нам нужно настроить кластер также с выпуском 0.23.x.
Не могли бы вы, ребята, указать нам документацию, в которой мы можем настроить кластер с выпуском 0.23.x.
Кажется, что 0.23.x совершенно другой, он не похож на 0.20.x, когда я распаковываю tar-файл. Пожалуйста, дайте нам некоторую книжную ссылку / документацию, где настройка кластера упоминается с самого начала.
Спасибо MRK
2 ответа
Основное различие между выпуском 0.23 и выпуском до 0.23 состоит в том, что в 0.23 управление ресурсами и управление жизненным циклом приложения были разделены. До 0.23 разрешалось запускать только приложения MapReduce, но 0.23 разрешало другие приложения, кроме MapReduce. Уже Hama, Giraph и некоторые другие приложения были портированы, и портирование MPI продолжается.
Мы видели много новых API, добавленных в 0.23.x. Чтобы изучить 0.23.x, нам нужно настроить кластер также с выпуском 0.23.x.
В пользовательском API не было никаких различий, поэтому существующие приложения должны работать без каких-либо изменений кода, но изменения файла конфигурации требуются. Версия 0.23 обратно совместима с точки зрения API.
Вот сводный список архитектуры MRv2, видео, статей и т. Д. Я постараюсь обновлять их по мере поступления новой информации.
Это официальная документация по настройке кластера в r0.23.0:
http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/ClusterSetup.html