Описание тега yarn
YARN (Yet Another Resource Negotiator) is a key component of second generation Apache Hadoop infrastructure. DO NOT USE THIS for the JavaScript/Node.js Yarn package manager (use [yarnpkg] instead)!
Originally described by Apache as a redesigned resource manager, YARN is now characterized as a large-scale, distributed operating system for big data applications including next generation MapReduce (MR2).
0
ответов
Пряжа MapReduce застряла в состоянии ПРИНЯТО: ожидание размещения AM-контейнера, его запуска и регистрации в RM
Привет, я новичок в Hadoop и пытаюсь запустить mapreduce в режиме псевдокластера на моей локальной машине. Но каждый раз, когда я отправляю работу, она застревает на YarnApplicationState: ACCEPTED: waiting for AM container to be allocated, launched …
15 июн '17 в 17:09
3
ответа
Ant BuildException при сборке ошибок Hadoop 2.2.0
У меня были проблемы с сборкой Hadoop 2.2.0 с использованием Maven 3.1.1, это часть вывода, который я получаю (полный журнал на http://pastebin.com/FE6vu46M): [INFO] ------------------------------------------------------------------------ [INFO] Rea…
04 дек '13 в 16:44
2
ответа
JPS выдает пустой вывод, ни один из демонов Hadoop не запускается с start-all.sh, распределенного режима Hadoop Psudo, на 32-битной виртуальной машине, работающей в 64-битной ОС Windows
Я пытаюсь настроить Hadoop2.7.1, Java OpenJDK 7, на 32-битной виртуальной машине, работающей поверх 64-битной ОС. Я настроил все файлы, как указано здесь http://pingax.com/install-hadoop2-6-0-on-ubuntu/ Даже после запуска start-dfs.sh или start-all.…
22 апр '16 в 07:39
0
ответов
Есть ли способ отключить запись файла.jhist для MapReduce?
У меня небольшой кластер с не очень хорошей сетью. Время от времени долгосрочное задание будет достигать 100% карты и уменьшаться на 100%, а затем завершаться сбоем. Проблема заключается в следующем: в начале задания MapReduce открывает DataStreamer…
18 ноя '18 в 19:20
0
ответов
Как запускать параллельные Активные задания в Spark Streaming и честное планирование задач среди исполнителей
Я использую Spark Streaming на Yarn, я сталкиваюсь с проблемами ниже. Выпуск 1: Я использую потоковую искру (1.6.1) на пряже, я всегда вижу количество активных заданий равным 1, что означает, что одновременно выполняется только одно задание. Я испол…
08 дек '16 в 08:19
1
ответ
Как Zeppelin интегрирован, чтобы зажечь?
Я очень плохо знаком с распределенной обработкой данных и хотел бы понять, как Zeppelin взаимодействует с искровым кластером? Хотите знать, как zeppelin может извлекать фреймы данных, сгенерированные в предыдущих абзацах, а затем использовать их в т…
08 сен '17 в 20:30
2
ответа
Работа Spark просто зависает с большими данными
Я пытаюсь запросить от s3 (15 дней данных). Я пытался запрашивать их отдельно (каждый день), он работает нормально. Хорошо работает и 14 дней. Но когда я запрашиваю 15 дней, задание продолжает работать вечно (зависает), и задача № не обновляется. Мо…
06 дек '17 в 22:10
1
ответ
Apache искровой кластер пряжи
Я пытаюсь запустить отдельное приложение в режиме пряжи-клиента (без spark-submit). Я дал spark-assembly-1.1.0-hadoop2.4.0.jar и hadoop conf (yarn-site.xml) в пути к классам, но yarn не выбирает URL-адрес ResourceManager из yarn-site.xml, вместо это…
22 окт '14 в 02:01
1
ответ
Hadoop не создает достаточно контейнеров, когда используется больше узлов
Поэтому я пытаюсь запустить несколько заданий hadoop на машинах AWS R3.4xLarge. У них есть 16 vcores и 122 гигабайта оперативной памяти. Каждому из моих мапперов требуется около 8 гигабайт оперативной памяти и одна нить, поэтому эти машины почти иде…
18 авг '16 в 19:12
1
ответ
Что такое память, зарезервированная на пряже
Мне удалось запустить искровое приложение на Yarn. Однако использование emory довольно странно, как вы можете видеть ниже: http://imgur.com/1k6VvSI Что означает зарезервированная память? Как мне эффективно использовать всю доступную память? Заранее …
17 фев '15 в 16:42
2
ответа
Сбой примера Hadoop Wordcount из-за контейнера AM
Я уже некоторое время пытаюсь запустить пример wordcount hadoop, однако я сталкиваюсь с некоторыми проблемами. У меня есть hadoop 2.7.1 и работает на Windows. Ниже приведены подробности ошибки: команда: yarn jar C:\hadoop-2.7.1\share\hadoop\mapreduc…
30 мар '17 в 06:47
5
ответов
Почему у моего приложения пряжи нет журналов даже при включенном ведении журналов?
Я включил журналы в файле XML: yarn-site.xmlи я перезапустил yarn при выполнении: sudo service hadoop-yarn-resourcemanager restart sudo service hadoop-yarn-nodemanager restart Я запустил свое приложение, а затем я вижу applicationID в yarn applicati…
09 мар '17 в 02:46
2
ответа
Спарк на пряжу, подключение к ResourceManager в /0.0.0.0:8032
Я писал искровую программу на моей машине разработки, которая является Mac. Версия hadoop - 2.6, версия spark - 1.6.2. Кластер hadoop имеет 3 узла, конечно, все на машине linux. Я запускаю программу spark в идее IDE в автономном режиме spark, она ра…
23 фев '17 в 07:17
2
ответа
'список приложений yarn' не показывает никаких результатов
Я запустил несколько приложений Spark на кластере YARN. Приложение отображается на странице "Все приложения" в пользовательском интерфейсе YARN http://host:8088/cluster, но yarn application -list Команда не дает никаких результатов. Что может быть п…
29 сен '15 в 06:03
1
ответ
Не удалось запустить Nodemanger в hadoop на окнах
Я настроил Hadoop в Windows 7 из учебника ( http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/), настроив кластер с одним узлом. Когда я бегу start-all.cmd только ResourceManager начинает Невозможно начать nameno…
01 май '17 в 13:27
0
ответов
Spark - детальное представление об использовании памяти исполнителем
Я унаследовал неприятный фрагмент итеративного кода TSQL, который должен быть запущен на спарк. Я не буду утомлять вас слишком многими деталями, но код применяет скользящее 10-дневное окно в течение четырехмесячного периода от minDate до maxdate и п…
18 окт '18 в 08:13
1
ответ
Что означает Num Off Switch Containers в пользовательском интерфейсе Yarn Resource Manager?
У меня есть работа ETL, занимающая много ресурсов процессора и памяти и работающая в течение длительного времени. Первое, что я заметил при отладке, это следующее (из задания в графическом интерфейсе менеджера ресурсов) Num Node Local Containers (уд…
23 ноя '18 в 01:01
0
ответов
Определение вычислительных узлов Hadoop ApplicationMaster
Компонент ApplicationMaster в архитектуре Hadoop YARN, запрашивает вычислительные ресурсы на узлах кластера. В соответствии с философией Hadoop по приближению вычислений к данным, ApplicationMaster должен запрашивать вычислительные ресурсы на тех же…
21 июл '17 в 03:51
1
ответ
Конфигурация приложения Spark Streaming с помощью YARN
Я пытаюсь выжать каждый бит из моего кластера при настройке приложения spark, но, похоже, я не совсем все понимаю. Итак, я запускаю приложение в кластере AWS EMR с 1 главным и 2 базовыми узлами типа m3.xlarge(15 ГБ оперативной памяти и 4 vCPU для ка…
04 июл '17 в 13:49
3
ответа
Docker Compose, Rails и Webpacker не сохраняют node_modules
TL;DR - yarn install устанавливает node_modules в "промежуточный контейнер", и пакеты исчезают после этапа сборки. Я пытаюсь запустить webpacker с нашим приложением dockerized rails 5.0. Dockerfile FROM our_company_centos_image:latest RUN yum instal…
29 янв '18 в 16:41