Подмножество R данных кадра по уровню фактора, удаляя ВСЕ строки после того, как порог превысил ПЕРВЫЙ раз

У меня есть некоторые данные веб-сессии, где я пытаюсь исключить ВСЕ наблюдения после определенного периода времени (скажем, 10 дней) от предыдущего посещения. У меня есть ID, визит Num и вычисленный DateDiff, представляющий дни, прошедшие с момента предыдущего посещения. Мои идентификаторы являются факторами, поэтому мне нужно решение для работы на многих уровнях факторов.

Пример данных:

test_data <- data.frame(ID=c("abc123","abc123","abc123","abc123"),
                    VisitNum=c(1,2,3,4),
                    DateDiff=c(0,5,30,5))

Поскольку 3-е посещение произошло через 30 дней после 2-го посещения, я хочу исключить ОБА 3-е и 4-е посещение из фрейма данных. Решения, которые я нашел, исключают 3-е посещение, но оставляют 4-е, а это не то, что мне нужно.

Мой желаемый результат будет выглядеть так:

test_results <- data.frame(ID=c("abc123","abc123"),
                       VisitNum=c(1,2),
                       DateDiff=c(0,5))

Спасибо!

Источник

2 ответа

Решение

Для этого примера вы можете использовать функцию base R cummin:

test_data[as.logical(cummin(test_data$DateDiff < 10)), ]
      ID VisitNum DateDiff
1 abc123        1        0
2 abc123        2        5

Применяя это к нескольким идентификаторам, вы можете использовать функцию base R ave:

test_data[as.logical(ave(test_data$DateDiff, test_data$ID,
                         FUN=function(i) cummin(i < 10))), ]
      ID VisitNum DateDiff
1 abc123        1        0
2 abc123        2        5
6 abc323        2        5
7 abc323        3        5

Вот, as.logical используется потому, что мы полагаемся на ave возвращает режим исходного вектора.

Эквивалентная операция в data.table было бы

library(data.table
setDT(data.table)
test_data[as.logical(test_data[,cummin(DateDiff < 10), by=ID]$V1)]

данные

test_data <- 
structure(list(ID = structure(c(1L, 1L, 1L, 1L, 2L, 3L, 3L),
.Label = c("abc123", "abc223", "abc323"), class = "factor"),
VisitNum = c(1, 2, 3, 4, 2, 2, 3), DateDiff = c(0, 5, 30, 5, 20, 5, 5)),
Names = c("ID", "VisitNum", "DateDiff"), row.names = c(NA, -7L),
class = "data.frame")
Источник

Вы также можете использовать which,

test_data[1:(which(test_data$DateDiff > 10)[1] - 1),]

Это немного быстрее для больших наборов данных, кажется

test_data <- data.frame(ID=sample(c("abc123","abc123","abc123","abc123"),2000,T),
                        VisitNum=1:2000,
                        DateDiff=sample(c(0,5,30,5),2000,T))

a <- function(dat) dat[1:(which(dat$DateDiff > 10)[1] - 1),]
b <- function(dat) dat[as.logical(cummin(dat$DateDiff < 10)), ]
microbenchmark(a(test_data), b(test_data), times = 1000)

## Unit: microseconds
##          expr     min       lq     mean  median      uq        max neval cld
##  a(test_data) 141.198 146.1895 197.6538 151.507 167.880   2326.238  1000  a 
##  b(test_data) 196.443 201.4810 496.1748 209.448 235.708 137785.448  1000   b

Функция b заняла на ~38% больше в среднем времени выполнения по сравнению с 1000 выполнениями для набора данных с 2000 строками.

Источник
Другие вопросы по тегам