Описание тега hadoop-2.7.2
Hadoop - это проект Apache с открытым исходным кодом, который предоставляет программное обеспечение для надежных и масштабируемых распределенных вычислений.
1
ответ
Почему mrunit 1.1.0 jar недоступен в центральном репозитории Maven
Я попытался проверить работу MapReduce 2 с помощью mrunit в проекте maven. Я искал в центральном репозитории Maven и нашел результат: http://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22org.apache.mrunit%22%20AND%20a%3A%22mrunit%22 В приведенной выше…
13 июл '16 в 18:58
1
ответ
Установка Hadoop 2.7.2 с одним узлом. В src-коде Ubuntu отсутствует каталог /etc/hadoop.
Я настраиваю hadoop-2.7.2 на Ubuntu 14.10 . исходный код, загруженный с https://hadoop.apache.org/, не имеет каталога / etc. так где я должен настроить переменную JAVA_HOME? это должно быть в hadoop-2.7.2/etc/hadoop/hadoop-env.sh
08 авг '16 в 12:09
1
ответ
Ошибка с исключением из-за нуклеуса и jdofatalexception при запуске улья
Я впервые устанавливаю куст в мою систему со встроенным хранилищем derby metastore, но он не работает. Это показывает ниже упомянутую ошибку. Caused by: javax.jdo.JDOFatalInternalException: The java type java.lang.Long (jdbc-type="",sql-type="") can…
29 мар '17 в 07:20
1
ответ
Pig-0.16.0 в Hadoop 2.7.2 - ОШИБКА 1002: невозможно сохранить псевдоним
Я только начал изучать Pig, для которого я установил псевдораспределенный Hadoop 2.7.2 на Ubuntu 14.04 LTS с версией Pig 0.16.0. Ниже приведены мои конфигурации для PIG и Hadoop - Файл:.bashrc #=======================================================…
15 июл '16 в 08:09
0
ответов
Веб-интерфейс Resource Manager не работает
Я вставил конфигурации ниже Пряжа-site.xml <configuration><!-- Site specific YARN configuration properties --><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></proper…
18 апр '18 в 13:36
0
ответов
Ошибка при запуске примера mapreduce в hadoop-2.7.5
Я установил apache hadoop 2.7.5, используя tar install. Когда я запускаю образец mapreduce jar: hadoop jar /opt/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar grep /user/root/input /user/root/output 'dfs[a-z.]+' это дает мне…
17 май '18 в 15:15
0
ответов
Ошибка файловой системы Hadoop
Я пытаюсь перечислить файлы и каталоги, но я получаю ниже ошибки. bibek@bibek-VirtualBox:$ hadoop fs -ls '.' no such file or directory found. Hadoop envirnment.sh coresite xml hdfs site xml yarn error bashrc
25 июн '18 в 17:23
1
ответ
Создать проблему Dataframe в Pyspark из Windows 10
Я не могу выполнить приведенную ниже команду из окон pyspark schemaPeople = spark.createDataFrame(people) Я установил HADOOP_HOME для winutils. У меня есть разрешение 77 для C:/tmp/hive. Тем не менее я получаю ошибку ниже - Py4JJavaError: An error o…
12 апр '17 в 17:10
2
ответа
Наменод не запускается -su: /home/hduser/../libexec/hadoop-config.sh: Нет такого файла или каталога
Установил Hadoop 2.7.1 на Ubuntu 15.10 Все работает нормально, только когда я нажимаю на JPS, я вижу всех демонов, кроме наменода. при запуске он показывает: -su: /home/hduser/../libexec/hadoop-config.sh: No such file or directory Когда я гуглил это…
19 фев '16 в 19:39
3
ответа
Hadoop 2.7.2 - Ошибка: не удалось найти или загрузить основной класс org.apache.hadoop.hdfs.server.namenode.NameNode
Я новичок и пытаюсь найти решение этой проблемы. Я следил за этим турориалом, чтобы настроить Hadoop 2.7.2 на Ubuntu 15.10 http://idroot.net/tutorials/how-to-install-apache-hadoop-on-ubuntu-14-04/ Когда я запускаю "hdfs namenode format", я продолжаю…
30 янв '16 в 19:21
0
ответов
Задание Hadoop не работает в псевдораспределенном режиме
Когда я запускаю JPS вывод выглядит следующим образом siu@siu-pc:~/project$ jps 6994 Jps 5365 ResourceManager 4902 DataNode 4330 DataNode 4829 DataNode 5616 NodeManager 4681 SecondaryNameNode 6684 RunJar 4997 DataNode 5092 DataNode 4077 NameNode Ког…
24 май '16 в 10:25
0
ответов
Ошибка Hadoop: org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: ошибка подключения
Я пытаюсь экспортировать данные из hadoop в эластичный поиск. Сбой задания сокращения карты, и демон эластичного поиска автоматически закрывается. Я настроил 4 узла для формирования кластера эластичного поиска. Ниже приведены настройки конфигурации …
04 окт '18 в 03:23
0
ответов
Что такое пространство имен в HDFS
Помогите мне понять разницу между пространством имен и метаданными. Какое содержимое находится в пространстве имен и использование пространства имен
09 ноя '17 в 09:49
1
ответ
curl: (5) Не удалось разрешить прокси: DELETE; Неизвестная ошибка
Я использую hadoop apache 2.7.1 на centos 7 и хочу удалить файл (file1) с помощью команд webhdfs. curl -i -x DELETE "http://192.168.25.21:50070/webhdfs/v1/hadoophome/file1/?user.name=root&op=DELETE&recursive=true" Но я получаю эту ошибку: cu…
13 июн '17 в 12:30
1
ответ
Ошибка при установке Hive 2.1.0 на Hadoop 2.7.2 - псевдораспределенный режим
Я следовал ссылкам по установке Apache Hadoop и мог установить их вместе с PIG. Все они работают нормально. Ниже приведена конфигурация: Hadoop: 2.7.2 Hive: 2.1.0 Машина: Ubuntu 14.04 LTS 64-bit Java: версия 9 Теперь я попытался установить Apache Hi…
17 июл '16 в 07:18
2
ответа
Может ли процесс чтения / записи HDFS быть приостановлен / возобновлен?
У меня есть один вопрос, касающийся процесса чтения / записи HDFS: Предполагая, что у нас есть клиент (в качестве примера, скажем, что клиент является процессом отображения HADOOP), который запрашивает чтение файла из HDFS и / или запись файла в HDF…
21 мар '16 в 15:04
1
ответ
Веб-запрос через webhdfs с отказоустойчивостью узла данных
У меня есть кластер hadoop с Apache версии 2.7.1 высокая доступность и состоит из пяти узлов mn1,mn2,dn1,dn2,dn3 если мы обращаемся к wbhdfs из браузера, чтобы открыть файл с именем myfile, который имеет коэффициент репликации = 3 и выходит на dn1, …
17 май '17 в 07:45
1
ответ
YARN: контейнеры и JVM
Может кто-нибудь помочь мне понять связь между JVM и контейнерами в YARN? Как создаются JVM, это одна JVM для каждой задачи? Может ли несколько задач выполняться одновременно в одной и той же JVM? (Мне известно о том, что многие задачи (карты / сокр…
10 фев '17 в 10:07
1
ответ
Проблема улья при запуске
ОШИБКА: Ведение журнала инициализируется с использованием конфигурации в jar:file:/usr/local/hive/lib/hive-common-2.1.0.jar!/Hive-log4j2.properties Async: true Исключение в потоке "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata…
07 окт '16 в 07:26
0
ответов
Maven репо для BigInsights / IOP
У меня установлен кластер IBM BigInsights 4.2, и я пытаюсь создать собственные рабочие места пряжи. Чтобы скомпилировать код Java на моем ноутбуке (не в кластере), мне нужны клиентские библиотеки hadoop. Как получить Java-библиотеки hadoop для IBM B…
21 фев '17 в 11:37