Описание тега hadoop2
Hadoop 2 represents the second generation of the very popular open source distributed platform Apache Hadoop.
0
ответов
Пряжа MapReduce застряла в состоянии ПРИНЯТО: ожидание размещения AM-контейнера, его запуска и регистрации в RM
Привет, я новичок в Hadoop и пытаюсь запустить mapreduce в режиме псевдокластера на моей локальной машине. Но каждый раз, когда я отправляю работу, она застревает на YarnApplicationState: ACCEPTED: waiting for AM container to be allocated, launched …
15 июн '17 в 17:09
2
ответа
Как получить имя входного файла в коде Mapper в программе Hadoop Map Reduce
Я написал код драйвера с двумя входными аргументами: args[0] и args[1]. Я хочу использовать args [0], то есть путь к входному файлу, в качестве одного из моих путей к файлу в коде картографа, чтобы мой читатель буфера мог прочитать файл, как показан…
31 дек '15 в 06:07
1
ответ
Можно ли использовать keytab для группы пользователей в AD
Я использую Kerberos со средой Hadoop, и я использую файл keytab для аутентификации другого пользователя. Теперь у меня есть несколько пользователей, и я должен дать им одинаковую привилегию.Поэтому я создал группу пользователей и сгенерировал общий…
06 май '16 в 11:19
1
ответ
Что такое память, зарезервированная на пряже
Мне удалось запустить искровое приложение на Yarn. Однако использование emory довольно странно, как вы можете видеть ниже: http://imgur.com/1k6VvSI Что означает зарезервированная память? Как мне эффективно использовать всю доступную память? Заранее …
17 фев '15 в 16:42
0
ответов
PriviledgedActionException (не удалось найти ни одного Kerberos TGT)
Я подключаюсь к hdfs, используя Kerberos в качестве механизма аутентификации, я выполняю задание, которое занимает 3 дня, я получаю эту ошибку: org.apache.hadoop.security.UserGroupInformation - PriviledgedActionException as: user_name (auth: KERBERO…
03 окт '18 в 05:56
0
ответов
Hadoop NameNode в HA аварийно завершает работу каждый раз после большого количества отложенных ошибочных блоков
Я получаю много - 2018-02-13 03: 16: 50,843 ИНФОРМАЦИЯ org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Повторное сканирование отложенных ошибочных блоков завершено за 56 мсек. Осталось 8749610 блоков. 1 блок перемещается. и тогда я получ…
13 фев '18 в 03:32
0
ответов
Скопируйте большое количество массивных файлов с локального файлового сервера в HDFS
Нужны ваши советы по этому вопросу. У нас есть случай использования, когда почти 50 ТБ файлов необходимо переместить с локального файлового сервера на HDFS. Файлы хранятся в нескольких папках в локальной файловой системе, и нам необходимо поддержива…
22 мар '18 в 13:17
1
ответ
Объект SparkSession не является членом пакета org.apache.spark.sql
Я пытаюсь использовать последнюю версию Spark API с SparkSession. Пока я импортирую пакет, мое затмение показывает сообщение об ошибке во вложении. Я использую 2.10.6 Scala компилятор. Пожалуйста, помогите мне решить эту проблему.
28 дек '16 в 16:27
7
ответов
Как указать идентификатор ключа доступа AWS и секретный ключ доступа как часть URL-адреса amazon s3n
Я передаю входные и выходные папки в качестве параметров для mapreduce программы подсчета слов с веб-страницы. Получение ниже ошибки: HTTP Status 500 - Ошибка обработки запроса; Вложенное исключение - java.lang.IllegalArgumentException: идентификато…
24 июл '14 в 03:48
0
ответов
Данные отсутствуют в HDFS при передаче сжатых файлов с помощью Flume
Я пытаюсь перенести zip/ сжатые файлы в HDFS, используя flume, но я вижу, что только несколько файлов передаются. например, только 3 из 12 файлов. Я много раз пытался проверить, передаются ли случайные файлы, но каждый раз передаются одни и те же фа…
22 дек '15 в 23:08
1
ответ
Apache Knox: советы по добавлению плагина Ranger
Я ищу способ добавить плагин Apache Ranger в Apache Knox. Я не смог найти хорошую отправную точку в документации ( https://knox.apache.org/books/knox-0-5-0/dev-guide.html), поэтому мне было интересно, если у вас есть Добавил плагин уже или любую иде…
28 фев '16 в 09:09
1
ответ
Настройка пряжи с проблемой ресурсов Hadoop 2.7.4
Я настроил hadoop 2.7.4, следуя этому руководству. DataNode, NameNode и SecondaryNameNode работают правильно. Но когда я запускаю пряжу, NodeManager отключается со следующим сообщением org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apac…
20 сен '17 в 11:01
1
ответ
Почему jps не показывает nodemanager
Я настроил кластер hadoop 2.4.1 на 3 виртуальных компьютерах с Ubuntu 14.04 LTS. когда я пытаюсь использовать jps на подчиненных узлах, он показывает только работающий демон датоде, а из браузера на порту 8088 он показывает, что оба подчиненных устр…
14 сен '14 в 06:29
2
ответа
Стандартные практики для входа в задания MapReduce
Я пытаюсь найти лучший подход для входа в задания MapReduce. Я использую slf4j с log4j appender, как и в других моих Java-приложениях, но так как задание MapReduce выполняется распределенным образом по кластеру, я не знаю, где я должен установить ме…
23 янв '15 в 21:59
1
ответ
Импала минимальный DDL
Я знаю, что мы можем создать таблицу Impala, как CREATE EXTERNAL TABLE SCHEMA.TableName LIKE PARQUET '/rootDir/SecondLevelDir/RawFileThatKnowsDataTypes.parquet' Но я не уверен, что Impala может создать таблицу из файла (желательно текстового), котор…
11 дек '15 в 00:24
0
ответов
Hadoop shutdown_msg
Я установил Hadoop на Windows 7 и настроил его для одного узла. При запуске yarn.cmd или hdfs.cmd я получаю следующее сообщение: SHUTDOWN_MSG: завершение работы NodeManager с именем пользователя /ip Спасибо
27 июн '14 в 09:47
0
ответов
Состояние памяти пряжи Hadoop не меняется
Я только начал работать над Hadoop и управлять средой с помощью Ambari. Даже когда я останавливаю узел управления нитью в моих узлах данных, он все еще показывает полное использование памяти в нити. Разве это не должно идти вниз? Или он проверяет се…
09 дек '17 в 20:06
0
ответов
Java-программа для доступа к HiveMetastore из Windows AD с помощью ssltrustore/knox
Мое требование состоит в том, чтобы подключить Java-программу для доступа к хранилищу метаданных кустов из Windows AD к Hiveserver2/thrift, установленному на компьютере с Linux, используя файл sslTrustStore .jks и trustStorePassword. Похоже, кластер…
06 май '18 в 09:28
1
ответ
Можем ли мы иметь статический и динамический раздел в одном запросе? если да то как будет создаваться папка.?
Можем ли мы добавить статический и динамический раздел в одном запросе. Если да, то как папка будет создана в соответствии с данными ниже? У нас есть данные о другой стране и ее состоянии. Мы делаем статическое разделение на страну ="США" и делаем д…
12 фев '17 в 01:12
1
ответ
hadoop namenode не запускается с "sbin/start-dfs.sh", а с "bin/hadoop namenode" (несмотря на отсутствие ошибок)
Если я бегу: sbin/start-dfs.sh Тогда он фактически не запускает наменоде, несмотря на печать: Starting namenodes on [0.0.0.0] 0.0.0.0: starting namenode, logging to /home/myuser/apps/hadoop-2.7.4/logs/hadoop-myuser-namenode-mybox.out localhost: star…
13 авг '17 в 00:49