Автоматизация команды подмножества в R

Question

Данный сценарий поднабор данных радужной оболочки в R на основе заданного условия. Тем не менее, когда то же самое применяется к очень большим данным, скажем, 10 миллионов +, решение становится непростым. Пожалуйста, помогите мне быстрее достичь того же результата за меньшее время. Благодарю.

iris1 <- subset(iris,iris$Sepal.Length<=5 & iris$Sepal.Length >= 3)

Answer 1

Ты пытался data.table уже?

Стандартный способ сделать это будет:

library(data.table)
iris <- iris
setDT(iris)
# you could try here "setkey(iris, Sepal.Length)" but shouldn't matter
iris1 <- iris[Sepal.Length %between% c(3, 5)]

Answer 2

Я провел следующий сравнительный анализ для сравнения подмножества с использованием трех разностных подходов: subset функция от базы R, dplyrи data.table на основе примера фрейма данных с 10000050 строк. Результат показывает, что data.table самый быстрый

library(dplyr)
library(data.table)
library(microbenchmark)

# Create example data frame with 10000050 rows
dat <- iris[rep(1:150, times = 66667), ]

# Create example tibble
dat_tbl <- as_tibble(dat)

# Create example data.table
dat_dt <- as.data.table(dat)

# Conduct benchmarking
per <- microbenchmark(# Method 1: The base R subset function
                      m1 = {subset(dat, Sepal.Length <= 5 & Sepal.Length >= 3)},
                      # Method 2: The dplyr method
                      m2 = {dat_tbl %>% filter(Sepal.Length <= 5, Sepal.Length >= 3)},
                      # Method 3: The data.table method
                      m3 = {dat_dt[Sepal.Length %between% c(3, 5), ]}, times = 1000L)

per
# Unit: milliseconds
# expr       min        lq     mean    median        uq      max neval
#   m1 381.17382 776.68467 961.2284 849.74441 1144.4295 2384.084  1000
#   m2 115.79736 137.92646 295.3928 146.91114  511.5023 1452.713  1000
#   m3  50.05212  63.57618 201.6751  70.98142  413.5645 1227.321  1000

# Plot the result
library(ggplot2)
autoplot(per)

Answer 3

Самым быстрым способом подмножества фрейма данных является его преобразование в таблицу данных с помощью пакета -data.table-.

# Load -data.table- package
library(data.table)

# Convert iris to a data table
dt <- as.data.table(iris)

# Subset data table using conditions on Sepal.Length
dt1 <- dt[Sepal.Length<=5 & Sepal.Length >= 3]