Описание тега hadoop3

Вопросы с тегом
Используйте для вопросов, касающихся функций Apache Hadoop 3.0 (например, Erasure Coding, YARN Timeline Service v2, Opportunistic Containers, 3+ NameNode отказоустойчивости). Для общих вопросов, связанных с Apache Hadoop, используйте тег [hadoop].
0 ответов

Пряжа hadoop 3.1.1 не может запланировать ресурс GPU

Я установил Hadoop 3.1.1, который поддерживает ресурсы графического процессора. И я настроил его в соответствии с официальным документом. Тем не менее, когда я запускаю программу подсчета слов с файлом 800M+, ресурс поиска GPU никогда не используетс…
05 ноя '18 в 02:07
6 ответов

Не удалось найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Содержимое mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>H…
19 июн '18 в 11:42
1 ответ

Hadoop 3.1.1 показывает только одну живую датододу

Я установил hadoop 3.1.1 на 3 виртуальных машины с VMware в Ubuntu. Когда я запускаю hdfs namenode -format и start-all.sh, тогда jps работает правильно на моем главном и двух подчиненных узлах. Однако с помощью команды hdfs dfsadmin -report я вижу т…
23 дек '18 в 11:53
0 ответов

NullPointerException при выполнении примера mapreduce

Я новичок в Hadoop, и недавно я настроил Hadoop 3.1.2 в Ubuntu 18.04. Я могу успешно запустить сервисы, однако, когда я запускаю пример Pi для mapreduce, я получаю следующее: ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error startin…
19 фев '19 в 16:32
1 ответ

Как удалить ОШИБКУ start-dfs.sh в Hadoop-3.2.0

При запуске start-dfs.sh для запуска сервисов hadoop появляются следующие ошибки: Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting…
26 фев '19 в 15:35
1 ответ

"start-all.sh" и "start-dfs.sh" от главного узла не запускают службы подчиненного узла?

Я обновил файл /conf/slaves на главном узле Hadoop, указав имена хостов моих подчиненных узлов, но я не могу запустить ведомые с главного. Я должен по отдельности запустить подчиненные, а затем мой кластер из 5 узлов запущен и работает. Как я могу з…
21 фев '18 в 16:17
4 ответа

Ошибка Hadoop при запуске ResourceManager и NodeManager

Я пытаюсь настроить Hadoop3-alpha3 с кластером с одним узлом (Psuedo-распределенный) и использую руководство Apache для этого. Я попытался запустить пример задания MapReduce, но каждый раз при отказе в соединении. После запуска sbin/start-all.sh Я в…
08 июн '17 в 05:55
0 ответов

Ресурс графического процессора для hadoop 3.0 / пряжа

Я пытаюсь использовать выпуск Hadoop 3.0 GA с gpu, но когда я выполнил приведенную ниже команду оболочки, возникает ошибка, и она не работает с gpu. пожалуйста, проверьте ниже и просто дайте вам знать команду оболочки. Я думаю, что есть неправильные…
09 янв '18 в 09:03
0 ответов

Получение FlowRunCoprocessor не может быть загружено

Я пытаюсь открыть ATS V2, перейдя по этой ссылке https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/TimelineServiceV2.html У меня есть CentOS VM, на которой у меня запущены hbase(Standalone) и hadoop/hdfs. Мои версии Hbase 2.0 beta1…
27 мар '18 в 04:27
1 ответ

Нераспознанный номер основной версии Hadoop: 3.0.0-бета1 по адресу org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion

Я использую нативную библиотеку windows для hadoop 3.0 beta1, установленную в среде windows 10. HDFS и Yarn запустились успешно. Установил Hive 2.2 с той же самой нативной библиотекой Windows с установленным derby db. Но во время работы сервера hive…
29 окт '17 в 18:54
0 ответов

Сбросить Hadoop-env.sh для Hadoop 3.0.0

Я пытаюсь настроить Hadoop 3.0.0 на одном узле. При настройке hadoop-env.sh мне пришлось удалить его из Hadoop/etc, и теперь я хотел бы получить весь файл из стандартных conf-файлов Hadoop (например, его GIT), но вряд ли я могу найти что-либо связан…
30 мар '18 в 10:07
1 ответ

Hadoop MapReduce Невозможно подключиться к ResourceManager

Я пытаюсь настроить Hadoop с кластером с одним узлом (Psuedo-распределенный) и использую руководство Apache для этого. Сейчас я пытаюсь запустить задание MapReduce и использую пример, который он предоставляет bin/hadoop jar share/hadoop/mapreduce/ha…
07 июн '17 в 03:26
1 ответ

Как настроить функцию кодирования стирания в hadoop3 и используется ли она для хранения холодных файлов только по умолчанию?

Согласно примечаниям к выпуску Hadoop 3.x, они ввели кодирование Erasure, чтобы преодолеть проблемы с хранилищем. Кодирование Erasure - это метод долговременного хранения данных со значительной экономией места по сравнению с репликацией. Стандартные…
18 мар '18 в 08:10
0 ответов

Ошибка начала цикла namenode Ошибка учетной записи root не найдена

Когда я побежал bin/hdfs namenode -formatя хочу бежать sudo sbin/start-dfs.sh, но это выдает ошибку, root account is not found, Starting namenodes on [localhost] ERROR: Refusing to run as root: root account is not found. Aborting. Starting datanodes…
23 сен '18 в 07:17
1 ответ

Как включить LLAP в Hive 3?

Я установил Hive 3.1.0 поверх Hadoop 3.1.1(без использования Ambari). Как я могу включить функцию LLAP в Hive.
20 сен '18 в 05:38
1 ответ

Hadoop 3.1.1 проблема при запуске службы HDFS

Я настраиваю Hadoop 3.1.1 на Mac. Однако, как только я выполнил все шаги, я получил отказ в разрешении на запуск namenode, datanode и вторичного namenode. Также, (не удалось загрузить библиотеку native-hadoop для вашей формы листа..... с использован…
04 окт '18 в 20:22
0 ответов

Hadoop исключение при запуске

Исключение во время бега sudo sbin/start-dfs.sh /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-functions.sh: строка 398: синтаксическая ошибка рядом с неожиданным токеном <' /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hado…
06 авг '18 в 11:47
1 ответ

Датодея запущена, но не отображается в отчете dfsadmin

Я пытаюсь установить Hadoop 3.1.0 на две виртуальные машины: Первый компьютер содержит один узел имени и один узел данных, второй содержит один узел данных. Я следил за этой статьей Установите многоузловой кластер Hadoop 3.0.0 на Ubuntu. И все идет …
21 июл '18 в 09:55
1 ответ

Не удалось инициализировать схему для HiveServer2 в Apache Hive 3.0.0 в Cygwin (Windows 10) [решено]

У меня уже был кластер Hadoop 3.0.0, состоящий из 2 машин: 1 namenode + RM и 1 datanode. Я попытался установить Apache Hive 3.0.0, следуя этому документу. Когда я бегу schematool -dbType derby -initSchema --verbose на Cygwin было сгенерировано исклю…
09 окт '18 в 11:05
0 ответов

Что такое Unmanaged Application Master и его роль в Hadoop федерации пряжи?

Я не получаю много информации о работе Unmanaged AM. Я просто знаю базовое определение об этом, но все еще не уверен, как осуществляется их управление и кем оно осуществляется? Также в документе apache упоминается (пункт 8 в потоке выполнения задани…
08 сен '18 в 10:55