Описание тега datanode

Вопросы с тегом
DataNode хранит данные в HFS (HadoopFileSystem). Функциональная файловая система имеет более одного DataNode, и данные реплицируются между ними.
0 ответов

Есть ли способ отключить запись файла.jhist для MapReduce?

У меня небольшой кластер с не очень хорошей сетью. Время от времени долгосрочное задание будет достигать 100% карты и уменьшаться на 100%, а затем завершаться сбоем. Проблема заключается в следующем: в начале задания MapReduce открывает DataStreamer…
18 ноя '18 в 19:20
0 ответов

Не удалось запустить datanode после перезапуска сервера: InconsistentFSStateException: каталог /dfs/dn находится в несогласованном состоянии

У меня есть кластер Hadoop. Я перезагрузил один из хостов. после запуска сервера не удалось запустить службу datanode на этом сервере. ниже находится журнал ролей. Любое предложение? В каталоге /dfs/dn есть файл данных. Почему датодел попытался отфо…
01 авг '18 в 17:25
0 ответов

Начальный датодан hadoop на namenode

Я новичок в системе hadoop eco и пытаюсь настроить многоузловой кластер hadoop-3.1.0. кластер запускается нормально, все узлы и ведомые устройства настроены следующим образом: node-1 $ jps 3248 NodeManager 2658 DataNode 3109 ResourceManager 4748 Jps…
01 авг '18 в 08:25
1 ответ

Hadoop 3.1.1 показывает только одну живую датододу

Я установил hadoop 3.1.1 на 3 виртуальных машины с VMware в Ubuntu. Когда я запускаю hdfs namenode -format и start-all.sh, тогда jps работает правильно на моем главном и двух подчиненных узлах. Однако с помощью команды hdfs dfsadmin -report я вижу т…
23 дек '18 в 11:53
0 ответов

Невозможно создать каталог в HDFS. Имя узла находится в безопасном режиме

Я развернул Hadoop в докере, который работает на экземпляре aws ec2 ubuntu AMI. когда я пытаюсь создать каталог в hdfs, он говорит, что не может создать каталог. Имя узла находится в безопасном режиме ниже приведены свойства в hdfs-site.xml name: df…
05 янв '19 в 18:10
0 ответов

Как запустить / инициализировать / добавить 2-й узел данных на том же сервере / тот же сервер данных? на уже работающем кластере ndb

Как добавить / инициализировать / запустить 3-й /4-й узел данных на том же сервере / на тех же серверах данных? на уже работающем кластере ndb с 2 серверами данных, 2(mgmt+mysqld) серверами узлов.
31 янв '19 в 05:55
0 ответов

Как проверить, какое имя хоста было зарегистрировано конкретным датодом в наменоде?

У меня есть кластер hadoop. Мы знаем, что датодуды hadoop во время регистрации в namenode присваивают ему (namenode) имя хоста. Можно ли проверить, какое имя хоста было дано датоде наменоде на работающем кластере? Возможно ли об этом непосредственно…
23 янв '19 в 15:33
3 ответа

Команда Hadoop start-all.cmd: завершение работы datanode

Я пытаюсь установить Hadoop в моем Windows 10 Ссылка: https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10 Команда Hadoop start-all.cmd запускает namenode, resourceManager и nodeManager успешн…
28 дек '18 в 06:02
1 ответ

Диски Datanode переполнены, потому что огромные файлы как стандартный вывод

У нас есть следующие версии кластера hadoop, ( DATA-NODE машина находится на версии ОС Linux - 7.2) ambari - 2.6.1 HDP - 2.6.4 мы видели несколько сценариев, когда диски на компьютере с датоданными заполняются на 100% и потому что файлы как - stdout…
03 янв '19 в 17:36
1 ответ

Нужно ли форматировать датодель для файловой системы HDFS или нам нужно только отформатировать наменоде

При настройке псевдо или полного кластера, нам нужно отформатировать узел данных для установки файловой системы HDFS или нам нужно только отформатировать namenode. Я спрашиваю об этом, потому что я читал это во многих блогах о том, что HDFS хранит д…
14 янв '19 в 17:26
1 ответ

Как мы можем исключить некоторые узлы данных только из одного пространства имен в федерации hdfs?

Я проверял федерацию hadoop. Здесь узлы данных являются общими, только пространство имен будет другим. Как мы можем исключить некоторые датододы только из одного пространства имен.
13 ноя '18 в 11:42
1 ответ

Когда я добавляю новый кластер данных в кластер, что происходит с новыми блоками

Когда я добавляю новый узел данных в работающий кластер, есть несколько запущенных заданий, что будет с новыми блоками, которые создаются при выполнении заданий?
22 июн '18 в 15:39
1 ответ

hadoop - конфигурация с несколькими датодами в псевдораспределенном режиме

Я новичок в Hadoop. У меня есть настройка hadoop - псевдораспределенный режим на одной машине. Моя конфигурация hdfs-site.xml по умолчанию: <configuration> <property> <name>dfs.replication</name> <value>1</value> …
14 ноя '18 в 04:14
0 ответов

Ошибка при запуске HDFS в Cloudera Manager - адрес уже используется при попытке привязки к '/var/hdfs-sockets/dn'

Я получаю сообщение об ошибке после установки и не могу запустить узел данных HDFS. Я всегда получаю сообщение об ошибке: Исключение в secureMain java.net.BindException: ошибка bind(2): адрес, который уже используется при попытке привязки к '/var/hd…
04 окт '18 в 08:01
1 ответ

Hadoop: поменяйте местами DataNode и NameNode без потери данных HDFS

У меня кластер из 5 машин: 1 большой NameNode 4 стандартных узла данных Я хочу изменить свой текущий NameNode на DataNode без потери данных, хранящихся в HDFS, чтобы мой кластер мог стать: 1 стандартный NameNode 3 стандартных узла данных 1 большой D…
05 сен '18 в 08:30
0 ответов

datanode не запускается на узле Windows

Я создал кластер Hadoop с двумя узлами, один из которых является Windows-машиной (datanode), а другой - Linux-машиной (namenode и datanode). Когда я начинаю кластер с помощью start-dfs.sh из Linux, он должен запустить датодею на машине Windows. но э…
24 апр '18 в 12:20
1 ответ

Data-node Alive от ambari не стабилен

У нас есть кластерная версия ambari - 2.6.1 и hadoop версия 2.6.4 количество датоде - 10 из панели инструментов ambari мы видим окно, которое показывает следующее: DataNodes Live 9/10 но через несколько минут все датододы живы как: DataNodes Live 10…
05 дек '18 в 18:04
0 ответов

Справочники Hadoop Datanode

У нас есть кластер HDP. При развертывании каталогов datanode, которые указываются в конфигурации HDFS, это /data1/hadoop/hdfs/data,/datadrv1/hadoop/hdfs/data. У нас есть серверы с разными точками монтирования, как показано ниже. на сервере.55: /data…
03 фев '19 в 18:59
0 ответов

Hadoop 2.7.3 установлен, но узел Name и Datanode не запущены

Я установил Hadoop2.7.3 на Windows 7. Я запускаю hdfs namenode -format start-all.cmd но имя узла и дата данных не запущены F: \ hadoop-2.7.3 \ hadoop-2.7.3 \ sbin> jps 4852 Jps 5996 ResourceManager localhost: 8088 рабочий localhost:50070 отказано в …
30 май '18 в 10:13
0 ответов

Завершение работы узла данных Hadoop с сообщением "libhadoop не может быть загружен"

Я пытаюсь запустить datanode для новых рабов, чтобы добавить их в живой кластер hadoop. Но не удалось запустить datanode с помощью команды hadoop-daemon.sh start datanode Я создал файл /var/lib/hadoop-hdfs/dn_socket вручную, а также изменил его разр…
22 ноя '18 в 14:03