Описание тега sparkr
SparkR - это пакет R, который обеспечивает легкий интерфейс для использования Apache Spark от R.
0
ответов
SparkR Ошибка в if (returnStatus!=0)
Я установил спарк-кластер на EC2 с 20 узлами и установил все IP-адреса узлов в conf/slave мастера и запустил задание со SparkR и 50 срезами. Мои узлы являются двухъядерными с 4 ГБ памяти и в конце моей работы собирают результаты в CSV-файл, который …
23 мар '16 в 06:10
1
ответ
Конвертировать строку в datetime в SparkR?
У меня есть объект DataFrame формального класса, который был загружен в SparkR из MySQL (через файл json), который содержит отформатированные строки, например: "2012-07-02 20:14:00" Мне нужно преобразовать их в тип datetime в SparkR, но пока это не …
23 дек '15 в 04:45
1
ответ
Как добавить столбец в SparkDataFrame, используя набор выражений SQL?
Я работаю с spark R, и я хотел бы добавить столбец в SparkDataFrame на основе строковой модификации существующего столбца. Рассмотрим следующую SparkDataFrame: head(df) id address 1 street_X, postal_code_X, neighborhood_X, county_name_X 2 neighborho…
30 окт '16 в 14:24
0
ответов
Преобразование прогнозов SparkR в читаемый формат (число или строка)
Я использую Spark с R, чтобы создать модель RandomForest (spark.randomForest), а затем предсказать метки (классификацию) для данных тестирования. У меня проблема в том, что мне нужен не только столбец "прогноз" с его меткой / прогнозом, но мне также…
13 ноя '17 в 17:11
1
ответ
Как можно отладить / получить логи для сбоев Java-сервера SparkR?
Я одурманен No status is returned. Java SparkR backend might have failed. ошибка при подгонке glm с помощью Spark. Похоже, что задание фактически выполняется до конца на основе веб-интерфейса Spark, но в какой-то момент во время подбора модели (оно …
15 сен '16 в 08:22
1
ответ
Почему SparkR не доступен в списке пакетов CRAN R?
Я проверил наличие пакета sparkR в списке пакетов CRAN по следующей ссылке. https://cran.r-project.org/web/packages/available_packages_by_date.html Этот список не включает sparkR, и, следовательно, установка sparkR через install.packages("package_na…
16 сен '15 в 06:32
1
ответ
Последние строки из фрейма данных Spark (с использованием sparklyr & dplyr)
Хотел бы напечатать последние 50 строк приведенного ниже кадра данных, используя что-то вроде tail function ниже по диапазону строк, используя sparklyr, без arrange или же collect - некоторые из моих кадров большие и не имеют последовательных столбц…
12 дек '16 в 19:06
1
ответ
How to initialize a new Spark Context and executors number on YARN from RStudio
Я работаю с SparkR, I am able to set Spark Context on YARN with desired number of executors а также executor-cores с такой командой: spark/bin/sparkR --master yarn-client --num-executors 5 --executor-cores 5 Сейчас я пытаюсь инициализировать новый к…
16 сен '15 в 13:48
1
ответ
Можем ли мы импортировать модель случайного леса, построенную с использованием SparkR, в R, а затем использовать getTree для извлечения одного из деревьев?
Как в дереве решений мы можем видеть или визуализировать разбиения узлов, я хочу сделать что-то подобное. Но я использую SparkR, и у него нет деревьев решений. Поэтому я планирую использовать случайный лес с 1 деревом в качестве параметра и запускат…
25 окт '17 в 12:12
0
ответов
Как подключиться к спарк кластеру с помощью клиента R
У меня есть кластер с запущенным Cloudera CDH. Мне нужно подключить мои R-программы (работающие на моем ноутбуке) к Spark, работающему в кластере. Однако, если я пытаюсь подключить локальный R через Sparklyr, он выдает ошибку. Так как поиск по дому …
31 май '18 в 06:20
1
ответ
Ошибка в mySparkDF.show(): не удалось найти функцию "mySparkDF.show"
Я хочу начать работать с уроками sparkR, но я получаю следующую ошибку: library(SparkR) Sys.setenv(SPARK_HOME="/Users/myuserhone/dev/spark-2.2.0-bin-hadoop2.7") .libPaths(c(file.path(Sys.getenv("SPARK_HOME"),"R","lib"), .libPaths())) spark <- spa…
12 янв '18 в 13:31
1
ответ
Как сделать Крест валидацию в спаркре
Я работаю с набором данных объектива фильма, у меня есть матрица (m X n) идентификатора пользователя в виде столбца и идентификатор фильма в виде столбцов, и я применил метод уменьшения размеров и факторизации матрицы для уменьшения разреженной матр…
02 ноя '16 в 06:12
1
ответ
SparkR Job 100 минут ожидания
Я написал немного сложный скрипт sparkR и запустил его, используя spark-submit. То, что в основном делает скрипт, - это читать строку таблицы на основе большого улья / импалы в паркетах за строкой и генерировать новый файл паркета с тем же числом ст…
04 янв '16 в 03:23
0
ответов
sparkR-2.0.0 выдает "Ошибка в invokeJava(isStatic = TRUE, className, methodName, ...):..."
Когда я пытался использовать sparkR в Rstudio, у меня возникали некоторые проблемы. library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"))) library(rJava) sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memo…
21 сен '16 в 00:05
7
ответов
SparkR vs sparklyr
Есть ли у кого-нибудь обзор относительно преимуществ / недостатков SparkR по сравнению со sparklyr? Google не дает удовлетворительных результатов, и оба кажутся довольно похожими. Испытывая оба, SparkR выглядит намного более громоздким, тогда как sp…
14 сен '16 в 15:35
1
ответ
Отличие h2o.ai от SparkMLlib с точки зрения алгоритма машинного обучения
В настоящее время я делаю опрос по библиотеке машинного обучения с использованием h2o.ai а также SparkMLlib, Я определил, что большее количество алгоритмов ML поддерживается h2o.ai библиотека по сравнению с SparkMLlib и разделение фрейма данных Spar…
09 дек '16 в 06:00
2
ответа
Можно ли запустить программу SparkR в Spark без установленного интерпретатора R?
Мой вопрос касается возможности запуска программы sparkR в spark без зависимости от R. Другими словами, могу ли я запустить следующую программу в спарк, если на машине не установлен интерпретатор R? #set env var Sys.setenv(SPARK_HOME="/home/fazlann/…
17 сен '15 в 04:41
0
ответов
SparkR быстро получает отличные значения от Dataframe
Я пытаюсь получить различные значения из SparkDataframe с помощью инструкции ниже. distVals <- collect(distinct(select(dataframeName, 'Column_name'))) Чтобы выполнить это утверждение, требуется около 30-40 минут. Есть ли лучший способ сделать это…
09 май '17 в 05:21
0
ответов
Понять is.na в классе столбца SparkR
У меня есть вопрос относительно is.na поведение в SparkR. Проблема, которую я имею, я хочу отфильтровать данные, основанные на том, есть ли какой-либо NA в одном столбце. Однако, если я использую any(is.na(data$col1)) это выдаст предупреждение is.na…
28 июн '16 в 22:45
1
ответ
Как применить функцию к каждой строке в SparkR?
У меня есть файл в формате CSV, который содержит таблицу со столбцами "id", "timestamp", "action", "value" и "location". Я хочу применить функцию к каждой строке таблицы, и я уже написал код на R следующим образом: user <- read.csv(file_path,sep …
13 фев '17 в 13:12