Описание тега rhadoop
RHadoop - это комбинация R и Hadoop для управления и анализа данных с помощью Hadoop
0
ответов
Rhadoop mapreduce для нескольких входных файлов
Я строю программу mapreduce, используя R, которая извлекает соответствующие функции из набора функций в наборе данных, используя генетический алгоритм. Мне нужно поместить много файлов в качестве входных данных для моей работы mapreduce. Мой код ниж…
23 июн '17 в 22:15
0
ответов
Вызов maprecece с сервера Shiny
Я пытаюсь распараллелить мою программу с помощью RHadoop. Я использую блестящий сервер для отображения моих данных после использования mapreduce из библиотеки rmr. Скрипт mapreduce прекрасно работает в R, и я сталкиваюсь с проблемами при вызове скри…
11 мар '15 в 12:36
1
ответ
Могу ли я использовать readLines в работе mapreduce в Rhadoop?
Я пытаюсь прочитать текстовый или gz-файл из HDFS и запустить простое задание mapreduce (на самом деле только задание map), но получаю ошибку, которая выглядит так, будто часть readLines не работает. Я ищу ответы о том, могу ли я использовать функци…
17 июл '15 в 00:19
0
ответов
Загрузка огромного файла в RHadoop с использованием from.dfs (библиотека rmr2)
В моей среде есть R-скрипт, который выполняет задание MapReduce в инфраструктуре Hadoop. Как входные, так и выходные данные хранятся в HDFS. Для загрузки результатов и выполнения дальнейших операций из среды R используется функция from.dfs. Однако я…
01 янв '19 в 21:52
2
ответа
Отладка функции mapreduce() в R
Сегодня я начал работать над пакетами rhdfs и rmr2. Функция mapreduce() на одномерном векторе работала хорошо, как и ожидалось.кусок кода на одномерном векторе a1 <- to.dfs(1:20) a2 <- mapreduce(input=a1, map=function(k,v) keyval(v, v^2)) a3 &…
21 сен '13 в 11:48
1
ответ
Установите / настройте RevolutionAnalytics / RHadoop в Windows 7 и песочнице hortonworks
Я установил VMware Player & Hortonworks Sandbox для Hadoop. Теперь мне нужна помощь для настройки / запуска RHadoop на этом. Мне нужно работать с R и Hadoop. Пожалуйста, помогите. Спасибо заранее.
19 апр '13 в 21:09
1
ответ
RHadoop - java.lang.RuntimeException: ошибка в настройке объекта
Спасибо, что решили ответить на этот вопрос. Я новичок в RHadoop. Я установил кластер с одним узлом Hadoop 2.3.0 на 64-битной машине Windows 7. Я мог бы успешно запустить примеры сокращения карты, такие как pi, wordcount. Впоследствии я успешно уста…
21 мар '14 в 14:28
4
ответа
Ошибка R + Hadoop с заданием RHadoop в кластере с одной машиной
Заранее извиняюсь за то, что был новичком и, возможно, задавал глупые вопросы. Я установил Hadoop на кластер с одной машиной (Ubuntu 14.04) и успешно протестировал основную программу, указанную в руководстве по установке Apache. Впоследствии я устан…
05 май '14 в 04:06
0
ответов
Ошибка (неявное создание неопределенного шаблона) при установке rhbase на Mac( High Sierra)
Я установил rhdfs, rmr2, Hbase, ZooKeeper, Hadoop1 без проблем. когда я устанавливал rhbase, эта ошибка была загружена в rJava, devTools и т. д..... установлена через brew.(thrift ver 0.11.0) скачал эту библиотеку на R. RCurl bitops digest itertoo…
24 мар '18 в 15:33
2
ответа
Ошибка в MR (карта = карта, уменьшить = уменьшить, объединить = объединить, vectorized.reduce,: потоковая передача hadoop не удалось с кодом ошибки 1 Вызовы: mapreduce -> MR
Я бегу ниже Rscript GDP.R #!/usr/bin/env Rscript Sys.getenv(c("HADOOP_HOME", "HADOOP_CMD", "HADOOP_STREAMING", "HADOOP_CONF_DIR")) library(rmr2) library(rhdfs) setwd("/root/somnath/GDP_data/") gdp <- read.csv("GDP.csv") head(gdp) hdfs.init() gdp.…
08 июл '14 в 11:49
1
ответ
Управление столбцом набора данных в r hadoop
У меня есть набор данных, у которого есть дата (10.01.2015, 1/10/2016, 1/10/2017). Я хочу изменить его формат следующим образом (2015, 2016, 2017). Мне нужно сделать это с помощью Hadoop.
02 мар '16 в 16:24
0
ответов
Возникли проблемы с RHADOOP?
Я проверил вопрос: Rhadoop - подсчет слов с помощью rmr и попробовал ответить на мой вопрос. Но это дает много проблем.Вот код: Sys.setenv("HADOOP_CMD"="/usr/local/hadoop/bin/hadoop") Sys.setenv("HADOOP_STREAMING"="/usr/local/hadoop/share/hadoop/too…
03 мар '17 в 06:23
2
ответа
Как изменить максимальные возможности контейнера в кластере Hadoop
Я установил RHADOOP на HORTONWORKS SANDBOX, следуя этим инструкциям: http://www.research.janahang.com/install-rhadoop-on-hortonworks-hdp-2-0/ Кажется, все установлено правильно. Но когда я запускаю тестовый скрипт внизу, я получаю сообщение об ошибк…
09 сен '14 в 21:42
1
ответ
Получение ошибки при запуске карты уменьшает количество рабочих мест в R
Я только начал интегрировать RHadoop. Это интегрированный сервер R-studio с Hadoop, но я получаю сообщение об ошибке при выполнении заданий уменьшения карты. когда я запускаю следующую строку кода. library(rmr2) a <- to.dfs(seq(from=1, to=500, by…
25 мар '15 в 05:00
0
ответов
R Память Hadoop
Я пытаюсь запустить распределенную реализацию кластеризации kmeans на hadoop с rmr2 (на кластере с одной машиной с Hadoop 2.6.0-cdh5.4.2 в псевдо-распределенном режиме). Пока размер файла данных (в HDFS) невелик (около 1000 точек данных), он работае…
08 сен '16 в 08:04
0
ответов
Как прочитать файл HDFS в качестве входной матрицы - получена ошибка "Ошибка в FUN(X[[2L]], ...): извините, тип параметра" NA "неоднозначен или не поддерживается".
Когда я читаю файл HDFS как матрицу ввода для функции mapreduce (в пакете rmr2) в моем R-скрипте, я получаю следующую ошибку. > r.file <- hdfs.file("hdfs://X.X.X.X:NNNN/somnath/merged_train/part-m-00000","r") > input = as.matrix(hdfs.read.t…
11 авг '14 в 10:25
0
ответов
Как уменьшить размерность на обучающем наборе данных, используя R mapreduce?
Я работаю с пакетом RHadoop RHDFS для уменьшения размера входного файла CSV с большим количеством столбцов. Вывод будет выбранным подмножеством всех столбцов. Для простоты я пытаюсь взять только первые 5 столбцов файла CSV. Я пытаюсь применить функц…
21 июл '14 в 11:41
1
ответ
Сбой потоковой передачи hadoop с кодом ошибки 1 в RHadoop
Я работаю с RHadoop по следующему коду: Sys.setenv(HADOOP_OPTS="-Djava.library.path=/usr/local/hadoop/lib/native") Sys.setenv(HADOOP_HOME="/usr/local/hadoop") Sys.setenv(HADOOP_CMD="/usr/local/hadoop/bin/hadoop") Sys.setenv(HADOOP_STREAMING="/usr/lo…
12 июн '18 в 21:47
0
ответов
Rhbase установить проблему
Здравствуйте, я смог правильно установить все остальные пакеты Rhadoop, мне не хватает rhbase. После установки Thrift и следуя инструкциям в Интернете, при попытке установить в R, я получаю: * installing *source* package ‘rhbase’ ... ** libs /home/f…
06 фев '18 в 18:03
1
ответ
Сбой задания потоковой передачи Hadoop с ошибкой отсутствующих опций при использовании пакета rmr с R
Я пытаюсь записать фрейм данных из R в HDFS, используя пакет rmr в Rstudio на Amazon EMR. Учебное пособие, которым я следую, является http://blogs.aws.amazon.com/bigdata/post/Tx37RSKRFDQNTSL/Statistical-Analysis-with-Open-Source-R-and-RStudio-on-Ama…
10 мар '15 в 22:20