Описание тега rmr2

Вопросы с тегом
0 ответов

Загрузка огромного файла в RHadoop с использованием from.dfs (библиотека rmr2)

В моей среде есть R-скрипт, который выполняет задание MapReduce в инфраструктуре Hadoop. Как входные, так и выходные данные хранятся в HDFS. Для загрузки результатов и выполнения дальнейших операций из среды R используется функция from.dfs. Однако я…
01 янв '19 в 21:52
0 ответов

R Hadoop подсчета

Я новичок в R, и у меня есть проблема с MapReduce rmr2. У меня есть файл для чтения такого рода, где в каждой строке есть дата и несколько слов (A,B,C..): 2016-05-10, A, B, C, A, R, E, F, E 2016-05-18, A, B, F, E, E 2016-06-01, A, B, K, T, T, E, G, …
10 июл '17 в 19:56
0 ответов

rmr2 MapReduce всегда генерирует $val NULL

Я использую R версии 3.4.2 и Hadoop 2.6.0 . При выполнении программы mapreduce с использованием rmr2 mapreduce выполняется успешно, но когда я получаю значение из dfs, я получаю значение как NULL . Пожалуйста, найдите образец сценария ниже. > lib…
05 ноя '17 в 20:13
1 ответ

Как установить Rhadoop на R 3.3.2?

Я попробовал следующее, упомянутое Джинитом: Как установить пакеты RHadoop (Rmr, Rhdfs, Rhbase)? Но я получил это исключение: "Установка пакета в /home/user/R/x86_64-pc-linux-gnu-library/3.2" (поскольку "lib" не указана) Предупреждение: неверный пак…
16 июн '17 в 11:06
0 ответов

MapReduce с CSV-файлом rmr2 - сбой сломанных столбцов в HDFS

У меня проблема с набором данных CSV в HDFS при выполнении MapReduce с rmr2. С 1 файлом только MapReduce работает нормально и ошибки не обнаружено, но когда 2 или более набора данных в одной и той же папке, данные начинают ломаться и результаты начи…
20 апр '17 в 00:55
0 ответов

Не действительная банка

Я новичок в программировании на R. Я использую код ниже после установки всех переменных env. Все соединения работают хорошо, но я получаю ошибку при выполнении ниже to.dfs. Пожалуйста, ведите меня. Sys.setenv("HADOOP_CMD"="/usr/local/hadoop/bin/hado…
02 апр '18 в 17:07
0 ответов

Как распаковать вложенные zip-папки в HDFS с помощью пакетов RHadoop (rhdfs, rmr2)?

Я пытаюсь распаковать вложенные zip-папки, находящиеся на hdfs, используя пакет rhdfs. hdfs dfs -cat RHadoop_Exer/Data_zipped/File.zip | gzip -d | hdfs dfs -put - RHadoop_Exer/Data_unzipped/Level_1 # Or hdfs dfs -text RHadoop_Exer/Data_zipped/File.z…
30 июл '19 в 11:51
1 ответ

использование функции R в фазе уменьшения

Я пытаюсь найти коэффициент корреляции кадра данных и отлично работаю. Есть ли проблема с поиском коэффициента корреляции из кадра данных с использованием cor(), или хорошо реализовать этот код для больших данных? cc = function(input, output = NULL)…
29 сен '19 в 21:40
0 ответов

как я могу реализовать алгоритм knn в rhadoop rmr2?

Я хочу знать, как реализован алгоритм Knn с использованием rhadoop и rmr2. Где я могу увидеть этот код? Легко понять? Может ли кто-нибудь объяснить мне псевдокод ?. Спасибо
09 дек '21 в 23:17