Описание тега hadoop2.7.3
Hadoop - это проект Apache с открытым исходным кодом, который предоставляет программное обеспечение для надежных и масштабируемых распределенных вычислений.
1
ответ
apache spark2.3.0 при запуске с master как пряжа завершается с ошибкой. Не удается найти или загрузить основной класс org.apache.spark.deploy.yarn.ApplicationMaster.
Я установил Apache Hadoop 2.7.5 а также Apache Spark 2.3.0,Когда я отправляю свою работу с --master local[*] работает нормально. Но когда я бегу --master yarn ошибка из веб-журналов говорит Error: Could not find or load main class org.apache.spark.d…
12 май '18 в 18:36
0
ответов
Ошибка при запуске примера mapreduce в hadoop-2.7.5
Я установил apache hadoop 2.7.5, используя tar install. Когда я запускаю образец mapreduce jar: hadoop jar /opt/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar grep /user/root/input /user/root/output 'dfs[a-z.]+' это дает мне…
17 май '18 в 15:15
0
ответов
Подключение Eclipse к Hadoop 2.7.3 (Eclipse-Hadoop-plugin-2.7.3.jar)
Я пытаюсь подключить Eclipse-Mars 1.0 к Hadoop 2.7.3, для которого мне нужен hadoop-eclipse-plugin-2.7.3.jar. Я очень старался, но мне не повезло найти эту банку. Может кто-нибудь указать мне эту версию jar и инструкции о том, как собрать jar на мое…
17 фев '17 в 06:23
1
ответ
Hadoop 2.7.3 не работает в автономном режиме
Я использую один узел hadoop 2.7.3 в Ubuntu 16.04... Но он не работает в автономном режиме. Может ли проблема быть в файле /etc/hosts, как я пытался отредактировать, чтобы сделать его многоузловым кластером?,
01 июл '17 в 11:37
1
ответ
Ошибка Sqoop при выполнении команды импорта Simple SQOOP в Hadoop 2.7.3
Я использую Sqoop 1.4 с Hadoop-2.7.3. А также с использованием MySQL 5.7 в качестве метасторана Hive-2.1.1. При запуске любой команды Sqoop eval или операции HDFS она работает нормально. Но при импорте данных из MySQL в HDFS возникают следующие ошиб…
02 апр '18 в 15:03
2
ответа
Невозможно запустить Namenode, Secondary Namenode & Datanode
Я установил Hadoop-2.7.3 на VirtualBox. Когда я набираю команду ./start-all.sh в терминале Namenode, Secondary Namenode & Datanode не начинали. Ниже приведен скриншот ошибки. Пожалуйста, предложите какое-то решение для этой проблемы. Ошибка, я получ…
24 июл '17 в 11:15
0
ответов
Типичный пример сканирования с сомнениями
Я пытаюсь запустить общий пример сканирования и извлекать URL и электронные письма из файла Warc. У меня есть только одно сомнение. Независимо от того, принадлежит ли электронное письмо к URL или другому веб-сайту, это запутанная часть.Пожалуйста, п…
18 ноя '16 в 08:58
1
ответ
Hadoop 2.7.3 Ошибка времени выполнения Java - файл core-site.xml не найден
При запуске hdfs dfs -mkdir /abc Я получаю следующую ошибку. Exception in thread "main" java.lang.RuntimeException: core-site.xml not found at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2577) at org.apache.hadoop.conf.Confi…
22 фев '17 в 10:02
1
ответ
org.apache.kafka.clients.consumer.NoOffsetForPartitionException: неопределенное смещение без политики сброса для раздела
Мы используем HDFS-коннектор Kafka Connect, который постоянно извлекает данные из тем Kafka и фиксирует их в HDFS. После успешной 12 + 11-часовой загрузки мы неожиданно обнаружили эту ошибку на стороне разъема. org.apache.kafka.clients.consumer.NoOf…
21 июн '17 в 06:17
1
ответ
Ошибка в одном узле данных Hadoop 2.7.3 (псевдораспределенный режим)
Я совершенно новичок в hadoop, и я уже ответил на мой предыдущий вопрос по этому поводу, но раздел комментариев слишком короткий, чтобы я мог показать свои файлы журналов. Это мой предыдущий вопрос. Может кто-нибудь помочь мне найти ошибку в этом фа…
28 мар '17 в 01:23
0
ответов
Приложение Spark не пишет в ведро s3
Проблема в: У меня есть приложение spark, которое не может записать данные в s3. Чтение в порядке. Конфигурация искры: SparkConf conf = new SparkConf(); ... conf.set("spark.hadoop.fs.s3a.endpoint", getCredentialConfig().getS3Endpoint()); System.setP…
15 сен '17 в 07:53
1
ответ
Некоторые датоданы все еще показывают пул блоков, использованный после очистки HDFS
Версия Hadoop: 2.7.3 Датододы: 32 Размер блока: 512 м Репликация: 3 Я очистил все данные в HDFS с помощью команды hdfs dfs -rm -r /* После очистки кластера HDFS некоторые датоданы все еще показывают Block pool usedхотя блоки нулевые. Снимок экрана h…
18 июл '17 в 04:50
2
ответа
Исключение Hadoop.
Я пытаюсь решить проблему с количеством слов в hadoop, так как впервые работаю с ней. Я следовал инструкциям, используя видео, и даже прочитал много вещей перед запуском программы.Но все же я столкнулся с исключением во время работы hadoop. Вот искл…
15 ноя '16 в 06:11
0
ответов
Как настроить кластер пряжи с искрой?
У меня есть 2 машины с 32 ГБ оперативной памяти и 8Core каждой машины. Итак, как я могу настроить пряжу с помощью искры и какие свойства я должен использовать для настройки ресурсов в соответствии с нашим набором данных. У меня есть набор данных 8 Г…
17 сен '18 в 05:14
0
ответов
java.lang.NoSuchMethodError: org/apache/hadoop/hbase/client/HTable
Установлено соединение Pega с Hadoop, и я могу видеть доступные таблицы в раскрывающемся списке, но я не могу предварительно просмотреть строки таблицы, чтобы выполнить сопоставление. Найденная ниже ошибка в трассировщике. Может кто-нибудь, пожалуйс…
23 сен '19 в 12:16
0
ответов
Api пряжи Hadoop 2.7.3 для получения списка контейнеров за одну попытку приложения?
В hadoop 2.7.3 мы можем запускать такие команды, как yarn container -list appattempt_1576801318440_1257_000001 чтобы получить список контейнеров для данной попытки приложения. Я ищу api rest диспетчера ресурсов в hadoop 2.7.3, чтобы получить информа…
18 янв '20 в 12:53