Описание тега mrv2
Архитектура MapReduce нового поколения.
2
ответа
Yarn NodeManager и ResourceManager в одном узле
(По умолчанию) Есть ли "менеджер узлов" в том же узле, что и "менеджер ресурсов" в Hadoop Yarn? Если нет, возможно ли запустить их на одном узле?
26 июл '13 в 16:53
1
ответ
YARN MRv2 JobClient эквивалент
Я не могу найти эквивалент JobClient (Java, MRv1) для MRv2. Я пытаюсь прочитать статус работы MR, счетчики и т. Д. Для текущей работы. Мне нужно было бы получить информацию от менеджера ресурсов, который, как я считаю, (поскольку у сервера истории н…
28 июн '16 в 00:55
1
ответ
Относительно концепции Hadoop Secondarynamenode
В соответствии с документацией (http://hadoop.apache.org/common/docs/r0.20.203.0/hdfs_user_guide.html) имя virtualnamenode устарело в выпуске hadoop0.20.203.0 и заменено контрольным узлом и резервным узлом. Но в кластере настроить doc (http://hadoop…
14 дек '11 в 07:52
1
ответ
YARN: Контроль параллелизма заданий
Я пытался использовать очереди ресурсов YARN для контроля за конкуренцией, контролируя количество заданий (у меня только задания MR, никаких других приложений YARN) в любой момент времени. Ситуация у меня такая - У меня есть служба, которая принимае…
14 июн '16 в 22:13
2
ответа
Новая архитектура MapReduce и Eclipse
Вокруг MapReduce происходит некоторый серьезный ре-факторинг. Подробности о том же можно найти в JIRA ниже. https://issues.apache.org/jira/browse/MAPREDUCE-279 Он имеет демоны ResourceManager, NodeManager и HistoryServer. Кто-нибудь пробовал запуска…
15 авг '11 в 16:35
1
ответ
Hive работает в локальном режиме, занимая слишком много места на локальном диске /tmp
Я выполняю сложный запрос в кусте, который при запуске начинает использовать огромное количество локального дискового пространства в папке /tmp и в конечном итоге заканчивается ошибкой пространства, поскольку папка /tmp полностью заполняется промежу…
02 авг '15 в 19:32
1
ответ
Определение оптимального количества редукторов в пряже
В MRv1 у нас были два ниже настраиваемых параметра, чтобы установить количество карт и уменьшить количество слотов на узел. mapred.tasktracker.map.tasks.maximummapred.tasktracker.reduce.tasks.maximum Также было бы желательно, чтобы количество слотов…
22 июн '15 в 22:20
2
ответа
Hadoop / Yarn (v0.23.3) Настройка псевдо-распределенного режима:: Нет узла задания
Я просто установил Hadoop/Yarn 2.x (в частности, v0.23.3) в режиме Psuedo-Distributed. Я следовал инструкциям нескольких блогов и веб-сайтов, которые более или менее предоставляют тот же рецепт для его настройки. Я также следовал за 3-м выпуском кни…
20 сен '12 в 23:32
0
ответов
Конфигурация размера входного разделения не работает должным образом для orcinputformat
Мы написали конвейер в MapReduce, где вводом является файл orc. Мы установили размер разделения следующим образом: mapreduce.input.fileinputformat.split.minsize=1073741824 mapreduce.input.fileinputformat.split.maxsize=1073741824 Приведенные ниже сце…
21 сен '17 в 14:31
0
ответов
Приложение mapreduce, которое имеет только 17000+ задач карты, работает очень медленно на пряже после завершения 16000+ карт
Я использую простой sql(выберите xx,xx... из viewXXX, где xxxxx), используя hive0.13.1 на hadoop2.6.0(фреймворк - MRv2, а не tez). После отправки я обнаружил, что это MR-задание, которое имеет только 17000 задач на карте и не содержит задач сокращен…
12 сен '18 в 09:05
1
ответ
Как отправить потоковое задание Hadoop и проверить историю выполнения с помощью Hadoop 2.x
Я новичок в Hadoop. В Hadoop 1.X я могу отправить потоковое задание hadoop из главного узла и проверить результат и время выполнения из веб-сайта namenode. Ниже приведен пример кода для потоковой передачи hadoop в Hadoop 1.X: $HADOOP_HOME/bin/hadoop…
31 окт '14 в 09:12
1
ответ
Параметры MRv1 и MRv2
Полный список параметров (для Hadoop-2.6) приведен по ссылке Но вы можете выполнить задание в стиле MRv1 или MRv2. Я думаю, что есть некоторые параметры, которые применимы только для MRv1, как mapreduce.tasktracker.map.tasks.maximum, Это правда? Есл…
06 май '15 в 05:47
1
ответ
Понимание mapreduce.framework.name в отношении Hadoop
Я изучаю Hadoop и узнал, что существует две версии фреймворка: Hadoop1 и Hadoop2. Если я правильно понимаю, в Hadoop1 среда выполнения основана на двух демонах, а именно TaskTracker а также JobTracker в то время как в Hadoop2 (он же пряжа) среда вып…
05 мар '18 в 18:15
2
ответа
YARN и MapReduce Framework
Я знаком с основами YARN-фреймворка, но все еще чувствую недостаток понимания в отношении MapReduce. С YARN я прочитал, что MapReduce - это только одно из приложений, которые могут работать поверх YARN; например, в YARN на одном и том же кластере мо…
30 мар '18 в 05:05
3
ответа
MRv2 / YARN Особенности
Я пытаюсь понять, какова цель нового API, и, читая через Интернет, я нашел разные ответы на те же вопросы, с которыми я имел дело. Вопросы, на которые я хотел бы знать ответы: 1) Какой из демонов MRv2/YARN отвечает за запуск контейнеров приложений и…
13 янв '15 в 01:26
9
ответов
Контейнер работает за пределами памяти
В Hadoop v1 я назначил каждый 7 слотов картографа и редуктора размером 1 ГБ, мои картпрессоры и редукторы работают нормально. У моей машины 8G памяти, 8 процессоров. Теперь с YARN, когда я запускаю одно и то же приложение на той же машине, я получаю…
08 янв '14 в 20:18
2
ответа
Кластер Hadoop с выпуском 0.23 (MRv2 или NextGen MR)
Как я вижу, последняя стабильная версия hadoop - 0.20.x. И последний выпуск - 0.23. , Кажется, есть много изменений от.20. до 0,23.х. Мы можем настроить небольшой кластер со стабильным реле (0.20.2) и практиковать программирование mapreduce. Мы виде…
12 дек '11 в 11:28
0
ответов
Объяснение параметров Hadoop
Hadoo-2.6 имеет следующие параметры как указано в документации mapreduce.job.max.split.locations (Максимальное количество местоположений блоков для хранения для каждого разделения для расчета населенного пункта. Как это используется в вычислении нас…
06 май '15 в 18:36