Описание тега namenode
Узел Hadoop NameNode является центральным элементом файловой системы HDFS. Он хранит дерево каталогов всех файлов в файловой системе и отслеживает, где в кластере хранятся данные файла.
0
ответов
Hadoop NameNode в HA аварийно завершает работу каждый раз после большого количества отложенных ошибочных блоков
Я получаю много - 2018-02-13 03: 16: 50,843 ИНФОРМАЦИЯ org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Повторное сканирование отложенных ошибочных блоков завершено за 56 мсек. Осталось 8749610 блоков. 1 блок перемещается. и тогда я получ…
13 фев '18 в 03:32
1
ответ
Ошибка выключения Namenode - выход с состоянием 0 (установка Hadoop)
Я пытаюсь заставить работать Hadoop-2.8.1. Я запускаю команду для настройки Namenode. Тем не менее, Namenode закрывается, когда я запускаю его из каталога Hadoop. ***********s-MacBook-Pro-2:~ ***********$ cd Downloads/hadoop-2.8.1 ***********s-MacBo…
12 сен '17 в 19:22
2
ответа
Разница между fs.defaultFS и fs.default.name
Я знаю, что оба эти свойства имеют отношение к namenode. Но какова реальная разница между ними?
27 май '15 в 11:14
3
ответа
Проблема установки Hadoop в Windows
Я пытался установить Hadoop на Windows 7 уже довольно давно. Я следую за этим блогом для инструкций. Но, к сожалению, я не смог запустить Namenode, Кажется, есть проблема с hdfs-site.xml файл, но я не вижу ничего плохого в этом. Пожалуйста, посмотри…
05 авг '16 в 08:00
1
ответ
hadoop-не умеет запускать наменоде без формата
Я знаю, что этот вопрос задавался ранее, видел следующее решение: <!-- to be modified in hdfs-site.xml--> <property> <name>dfs.name.dir</name> <value>/home/hduser/hadoop/data</value> </property> Я изменил св…
17 янв '17 в 10:58
1
ответ
Как сбалансировать данные между Datanodes в Hadoop?
У меня есть многоузловой кластер в Hadoop, состоящий из двух машин (один узел имени и два узла данных в каждой машине). Я использую: hadoop fs -put dir1 hdfspath В приведенной выше команде: данные будут распределены на обеих машинах или только на од…
25 мар '17 в 10:02
1
ответ
Наменод не запускается после перезагрузки ПК (hadoop 2.7.3)
Я настроил hadoop 2.7.3 в Ubuntu 16.04 и запустил все (подсчет слов и другие mapReduce запускают все). после перезагрузки компьютера я запускаю start-dfs, но namenode не запускается. другое руководство говорит удалить временный каталог, но у меня ег…
04 апр '17 в 12:46
6
ответов
Hadoop namenode метаданные
Я немного смущен архитектурой Hadoop. Какие метаданные файла хранятся в Hadoop Namenode? В вики Hadoop говорится, что Namenode хранит все пространство имен системы. Хранится ли в Namenode информация, такая как время последнего изменения, время созда…
07 июн '11 в 15:00
0
ответов
Hadoop HA Namenode отключается с ошибкой: сбой сброса для необходимого журнала
Namenode goes down with below error: using hadoop version : 2.0.0 ОШИБКА INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at XXXXXX FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: flush failed for required j…
23 авг '18 в 11:03
2
ответа
Блоки HDFS повреждены после перезагрузки
У меня есть Hadoop на Ubuntu 16.10 Все работает отлично: я могу загрузить входной файл в HDFS и выполнить операции уменьшения карты. Но когда я перезагружаю свой компьютер, все блоки HDFS повреждены, и NameNode запускается в SafeMode Так что я долже…
09 мар '17 в 10:16
0
ответов
Будет ли Backup Node загружать образ и редактировать журнал из NameNode?
Из официального документа узла резервного копирования HDFS ， говорится: The Backup node does not need to download fsimage and edits files from the active NameNode in order to create a checkpoint, as would be required with a Checkpoint node or Second…
25 сен '17 в 10:06
0
ответов
Использование Консула для переключения при отказе hadoop hdfs
Я пытаюсь работать с Hadoop Java Client и использую Consul для маршрутизации на текущий активный узел имени в моем кластере. Мой кластер клоудера и использую HA. Когда активный наменод изменяется с помощью hadoop Consul, он также немедленно меняет р…
02 дек '16 в 18:28
0
ответов
Невозможно создать каталог в HDFS. Имя узла находится в безопасном режиме
Я развернул Hadoop в докере, который работает на экземпляре aws ec2 ubuntu AMI. когда я пытаюсь создать каталог в hdfs, он говорит, что не может создать каталог. Имя узла находится в безопасном режиме ниже приведены свойства в hdfs-site.xml name: df…
05 янв '19 в 18:10
0
ответов
Hadoop - DataNode и Namenode не запускаются
Я установил Hadoop в Ubuntu, но когда я запускаю скрипт./start-all.sh в папке sbin, DataNode и Namenode не запускаются. Я получил следующие настройки в файлах конфигурации: ядро-site.xml <configuration> <property> <name>dfs.default…
03 ноя '17 в 11:13
0
ответов
Невозможно начать имя узла, так как fsimage поврежден
У меня есть namenode, чей fsimage поврежден, и у меня есть только один доступный fsimage в каталоге. Я хочу восстановить это из команды "hdfs namenode -recover". Но я получаю следующую ошибку. > 19/02/26 13:11:06 INFO util.GSet: 0.029999999329447…
27 фев '19 в 02:37
3
ответа
Команда Hadoop start-all.cmd: завершение работы datanode
Я пытаюсь установить Hadoop в моем Windows 10 Ссылка: https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10 Команда Hadoop start-all.cmd запускает namenode, resourceManager и nodeManager успешн…
28 дек '18 в 06:02
1
ответ
"start-all.sh" и "start-dfs.sh" от главного узла не запускают службы подчиненного узла?
Я обновил файл /conf/slaves на главном узле Hadoop, указав имена хостов моих подчиненных узлов, но я не могу запустить ведомые с главного. Я должен по отдельности запустить подчиненные, а затем мой кластер из 5 узлов запущен и работает. Как я могу з…
21 фев '18 в 16:17
1
ответ
Нужно ли форматировать датодель для файловой системы HDFS или нам нужно только отформатировать наменоде
При настройке псевдо или полного кластера, нам нужно отформатировать узел данных для установки файловой системы HDFS или нам нужно только отформатировать namenode. Я спрашиваю об этом, потому что я читал это во многих блогах о том, что HDFS хранит д…
14 янв '19 в 17:26
1
ответ
Как мы можем исключить некоторые узлы данных только из одного пространства имен в федерации hdfs?
Я проверял федерацию hadoop. Здесь узлы данных являются общими, только пространство имен будет другим. Как мы можем исключить некоторые датододы только из одного пространства имен.
13 ноя '18 в 11:42
0
ответов
Как namenode распознает изменения в пространстве имен после контрольной точки
После контрольной точки в hadoop новый файл fsimage копируется обратно в Namenode, а предыдущие журналы редактирования усекаются. Мой вопрос заключается в том, как наменоде узнает о любых изменениях, сделанных после создания нового fsimage, потому ч…
23 апр '18 в 23:35