Пропустить NA и вменение данных перед выполнением анализа PCA с использованием R
Я пытаюсь сделать анализ PCA, используя princomp функция в R.
Ниже приведен пример кода:
mydf <- data.frame (
A = c("NA", rnorm(10, 4, 5)),
B = c("NA", rnorm(9, 4, 5), "NA"),
C = c("NA", "NA", rnorm(8, 4, 5), "NA")
)
out <- princomp(mydf, cor = TRUE, na.action=na.exclude)
Error in cov.wt(z) : 'x' must contain finite values only
Я пытался удалить NA из набора данных, но это не работает.
ndnew <- mydf[complete.cases(mydf),]
A B C
1 NA NA NA
2 1.67558617743171 1.28714736288378 NA
3 -1.03388645096478 9.8370942023751 10.9522215389562
4 7.10494481721949 14.7686678743866 4.06560213642725
5 13.966212462717 3.92061729913733 7.12875100279949
6 -1.91566982754146 0.842774330179978 5.26042516598668
7 0.0974919570675357 5.5264365812476 6.30783046905425
8 12.7384749395121 4.72439301946042 2.9318845479507
9 13.1859349108349 -0.546676530952666 9.98938028956806
10 4.97278207223239 6.95942086859593 5.15901566720956
11 -4.10115142119221 NA NA
Даже если я могу удалить NAЭто может не помочь, поскольку в каждой строке или столбце есть хотя бы одно пропущенное значение. Есть ли метод R, который может вменять данные, делая анализ PCA?
ОБНОВЛЕНИЕ: основано на ответах:
> mydf <- data.frame (A = c(NA, rnorm(10, 4, 5)), B = c(NA, rnorm(9, 4, 5), NA),
+ C = c(NA, NA, rnorm(8, 4, 5), NA))
> out <- princomp(mydf, cor = TRUE, na.action=na.exclude)
Error in cov.wt(z) : 'x' must contain finite values only
ndnew <- mydf[complete.cases(mydf),]
out <- princomp(ndnew, cor = TRUE, na.action=na.exclude)
Это работает, но результат na.action не работает.
Есть ли какой-нибудь метод, который может вменять данные, так как в реальных данных у меня есть почти каждый столбец с отсутствующим значением в них? Результат такого NA упущение даст мне ~ 0 строк или столбцов.
3 ответа
За na.action чтобы иметь эффект, вам нужно явно указать formula аргумент:
princomp(formula = ~., data = mydf, cor = TRUE, na.action=na.exclude)
# Call:
# princomp(formula = ~., data = mydf, na.action = na.exclude, cor = TRUE)
#
# Standard deviations:
# Comp.1 Comp.2 Comp.3
# 1.3748310 0.8887105 0.5657149
Формула нужна, потому что она вызывает отправку princomp.formula, единственный princomp метод, который делает что-нибудь полезное с na.action,
methods('princomp')
[1] princomp.default* princomp.formula*
names(formals(stats:::princomp.formula))
[1] "formula" "data" "subset" "na.action" "..."
names(formals(stats:::princomp.default))
[1] "x" "cor" "scores" "covmat" "subset" "..."
Это потому, что вы использовали версию персонажа NA, которая на самом деле не NA.
Это демонстрирует, что я имею в виду:
is.na("NA")
is.na(NA)
Я бы исправил это на уровне создания, но вот способ ретро исправить это (потому что вы использовали символ "NA", он делает весь столбец класса character Это означает, что вам придется исправить это с as.numeric также):
FUN <- function(x) as.numeric(ifelse(x=="NA", NA, x))
mydf2 <- data.frame(apply(mydf, 2, FUN))
ndnew <- mydf[complete.cases(mydf2),]
ndnew
который дает:
A B C
3 11.3349957691175 6.97143301427903 -2.13578124048775
4 5.69035783905702 -2.44999550936244 -4.40642099309301
5 -0.865878644072023 6.03782080227184 9.83402859382248
6 6.58329959845638 5.67811450593805 12.4477770011262
7 0.759928613563254 16.6445809805028 9.45835418422973
8 11.3798459951171 1.36989010500538 0.784492783538675
9 0.671542080233918 5.9024564388189 16.2389092991422
10 3.64295741533713 9.78754135462621 -2.4293697924212
EDIT: ================================================ ==========
"это работает, но не работает". "
Не знаю много о princomp, но это работает (не знаю, почему функция na.action этого не делает):
out <- princomp(na.omit(mydf), cor = TRUE)
"Есть ли какой-нибудь метод, который может вменять данные, так как в реальных данных у меня есть почти каждый столбец с отсутствующим значением в них? Результат такого отсутствия даст мне ~ 0 строк или столбцов"
Это действительно отдельный вопрос от вашего первого, и вы должны начать новую тему после небольшого исследования этой темы.
The nipalsбиблиотека выполнит PCA с отсутствующими значениями и предоставитfittedценности.
set.seed(1)
mydf <- data.frame (
A = c(NA, rnorm(10, 4, 5)),
B = c(NA, rnorm(9, 4, 5), NA),
C = c(NA, NA, rnorm(8, 4, 5), NA)
)
# Remove rows with all missing values
mydf <- mydf[ !apply(mydf, 1, function(x) all(is.na(x))), ]
mydf
library(nipals)
res <- nipals(mydf, fitted=TRUE)
# Look at fitted values
res$fitted
# Compare fitted and observed values
res$fitted-mydf
A B C
2 0.0062853910 0.0253433878 NA
3 -0.0005800986 0.0015428998 0.001829560
4 0.0046210396 -0.0019671275 -0.007074557
5 0.0062666341 0.0083711959 -0.001574603
6 -0.0034899784 0.0007386345 0.004800290
7 0.0018738600 -0.0097446464 -0.009368384
8 0.0003539155 0.0029634392 0.001720441
9 -0.0035414103 0.0021827218 0.005912196
10 -0.0028836774 0.0012138259 0.004404780
11 0.0001702055 NA NA