Слияние и добавление файлов данных в формате ffdf
Я пытаюсь создать фрейм данных ffdf путем слияния и добавления двух существующих фреймов данных ffdf. У файлов ffdf разные номера столбцов и номера строк. я знаю это merge() выполняет только внутренние и левые внешние соединения, в то время как ffdfappend() не разрешит добавление, если столбцы не идентичны. Мне интересно, если у кого-нибудь есть обходной путь для этого. Либо такая функция, как smartbind() функция в gtools package или любой другой обходной путь.
Конечно, возвращаясь к as.data.frame() и используя smartbind() не вариант из-за размера ffdfs.
Любая помощь будет принята с благодарностью.
Редактировать: Согласно предложению вот воспроизводимый пример:
require(ff)
require(ffbase)
df1 <- data.frame(A=1:10, B=LETTERS[1:10], C=rnorm(10), G=1 )
df2 <- data.frame(A=11:20, D=rnorm(10), E=letters[1:10], G=1 )
ffdf1 <- as.ffdf(df1)
ffdf2 <- as.ffdf(df2)
Желаемый результат должен выглядеть примерно так (создается на data.frames, если бы я знал, как его получить на ffdfs, я бы не задавал вопрос):
require(gtools)
dfcombined <- smartbind(df1, df2)
dfcombined
A B C G D E
1:1 1 A 1.1556719 1 NA <NA>
1:2 2 B 0.3279260 1 NA <NA>
1:3 3 C 0.4067643 1 NA <NA>
1:4 4 D -0.9144717 1 NA <NA>
1:5 5 E -0.1138263 1 NA <NA>
1:6 6 F 0.8227560 1 NA <NA>
1:7 7 G 0.3394098 1 NA <NA>
1:8 8 H 1.4498439 1 NA <NA>
1:9 9 I -1.3202419 1 NA <NA>
1:10 10 J 0.2099266 1 NA <NA>
2:1 11 <NA> NA 1 -1.5802636 a
2:2 12 <NA> NA 1 1.2925790 b
2:3 13 <NA> NA 1 1.3477483 c
2:4 14 <NA> NA 1 -1.6760211 d
2:5 15 <NA> NA 1 0.1456295 e
2:6 16 <NA> NA 1 0.4726867 f
2:7 17 <NA> NA 1 -1.5209117 g
2:8 18 <NA> NA 1 0.3407136 h
2:9 19 <NA> NA 1 1.3582868 i
2:10 20 <NA> NA 1 -1.5083929 j
Надеюсь, это прояснит, чего я пытаюсь достичь.
2 ответа
Если вы ищете что-то вроде rbind.fill но для объектов ffdf. Может быть, это то, что вы ищете. Это сработало для меня без проблем с памятью на тестовом примере, подготовленном Яном.
require(ff)
require(ffbase)
smartffdfbind <- function(..., clone=TRUE){
x <- list(...)
columns <- lapply(x, FUN=function(x) colnames(x))
columns <- do.call(c, columns)
columns <- unique(columns)
for(element in 1:length(x)){
missingcolumns <- setdiff(columns, colnames(x[[element]]))
for(missingcolumn in missingcolumns){
x[[element]][[missingcolumn]] <- ff(NA, vmode = "logical", length = nrow(x[[element]]))
}
}
if(clone){
result <- clone(x[[1]][columns])
}else{
result <- x[[1]][columns]
}
for (l in tail(x, -1)) {
result <- ffdfappend(result[columns], l[columns], recode=TRUE)
}
result
}
ffdf1 <- ffdf(a = ffrandom(1E8, rnorm), b = ffrandom(1E8, rnorm))
ffdf2 <- ffdf(b = ffrandom(1E8, rnorm), c = ffrandom(1E8, rnorm))
x <- smartffdfbind(ffdf1, ffdf2)
nrow(x)
[1] 200000000
class(x)
"ffdf"
Следующий ответ не работает на больших ffdf объекты (1E8 записей). Первоначально опубликовав часть этого комментария, я решил опубликовать его как ответ, поскольку код может стать отправной точкой для рабочего ответа.
Одна хитрость заключается в том, чтобы сначала объединить небольшую часть двух ffdf, используя, например, smartmatch. Затем измените размер этого объекта так, чтобы он соответствовал ffdf1 и ffdf2. Скопируйте ffdf1 в первую половину этого объекта и ffdf2 во вторую половину:
require(gtools)
dfcombined <- as.ffdf(smartbind(ffdf1[1,], ffdf2[1,]))
nrow(dfcombined) <- nrow(ffdf1) + nrow(ffdf2)
# insert ffdf1 into dfcombined
cols1a <- names(dfcombined)[names(dfcombined) %in% names(ffdf1)]
cols1b <- names(dfcombined)[!(names(dfcombined) %in% names(ffdf1))]
dfcombined[ri(1, nrow(ffdf1)), cols1a] <- ffdf1
dfcombined[ri(1, nrow(ffdf1)), cols1b] <- NA
# insert ffdf2 into dfcombined
cols2a <- names(dfcombined)[names(dfcombined) %in% names(ffdf2)]
cols2b <- names(dfcombined)[!(names(dfcombined) %in% names(ffdf2))]
dfcombined[ri(nrow(ffdf1)+1, nrow(dfcombined)), cols2a] <- ffdf2
dfcombined[ri(nrow(ffdf1)+1, nrow(dfcombined)), cols2b] <- NA
Тем не менее, при тестировании это в реальном размере ffdf ncol(dfcombined) <- ... строка выдает ошибку
> ffdf1 <- ffdf(
+ a = ffrandom(1E8, rnorm),
+ b = ffrandom(1E8, rnorm)
+ )
> ffdf2 <- ffdf(
+ b = ffrandom(1E8, rnorm),
+ c = ffrandom(1E8, rnorm)
+ )
> dfcombined <- as.ffdf(smartbind(ffdf1[1,], ffdf2[1,]))
>
> nrow(dfcombined) <- nrow(ffdf1) + nrow(ffdf2)
Error: cannot allocate vector of size 762.9 Mb