Ошибка добавления взаимодействий в пользовательскую модель VGAM::vglm в карете
Я построил пользовательскую модель с caret с помощью vglm() от VGAM, Он отлично работает с простыми эффектами, но когда я пытаюсь добавить взаимодействия, он не работает с object 'x1:x2' not found сообщение об ошибке, где x1 а также x2 переменные предикторов, которые я ввел в модель как взаимодействие. Проблема связана с прогнозами, и, если я не ошибаюсь, кажется, что это происходит потому, что либо predict.train или же predictvglm пытается использовать x1:x2 предсказывать занятия.
Я предоставил рабочий пример ниже.
# Set up data
set.seed(123)
n <- 100
x1 <- rnorm(n, 175, 7)
x2 <- rnorm(n, 30, 8)
cont <- 0.5 * x1 - 0.3 * x2 + 10 + rnorm(n, 0, 6)
y <- cut(cont, breaks = quantile(cont), include.lowest = TRUE,
labels = c("A", "B", "C", "D"), ordered = TRUE)
d <- data.frame(x1, x2, y)
# My custom caret function
vglmTrain <- list(
label = "VGAM prop odds",
library = "VGAM",
loop = NULL,
type = "Classification",
parameters = data.frame(parameter = "parameter",
class = "character",
label = "parameter"),
grid = function(x, y,
len = NULL, search = "grid") data.frame(parameter = "none"),
fit = function(x, y, wts, param, lev, last, classProbs, ...) {
dat <- if(is.data.frame(x)) x else as.data.frame(x)
dat$.outcome <- y
if(!is.null(wts))
{
out <- vglm(.outcome ~ ., propodds, data = dat, weights = wts, ...)
} else {
out <- vglm(.outcome ~ ., propodds, data = dat, ...)
}
out
},
predict = function(modelFit, newdata, preProc = NULL, submodels = NULL) {
probs <- predict(modelFit, data.frame(newdata), type = "response")
predClass <- function (x) {
n <- colnames(x)
factor(as.vector(apply(x, 1, which.max)),
levels = 1:length(n),
labels = n)
}
predClass(probs)
},
prob = function(modelFit, newdata, preProc = NULL, submodels = NULL)
predict(modelFit, data.frame(newdata), type = "response"),
predictors = function(x, ...) names(attributes(terms(x))$dataClasses[-1]),
levels = function(x) x@misc$ynames,
sort = function(x) x)
Теперь, если я попытаюсь использовать функцию, она завершится с ошибкой, если я предоставлю формулу с взаимодействием.
# Load caret
library(caret)
ctrl <- trainControl(method = "cv", number = 2, verboseIter = T)
# A model with no interactions - works
f1 <- train(y ~ x1 + x2, data = d,
method = vglmTrain,
trControl = ctrl)
# A model with interactions - fails
f2 <- train(y ~ x1*x2, data = d,
method = vglmTrain,
trControl = ctrl)
Error in train.default(x, y, weights = w, ...) : Stopping
In addition: Warning messages:
1: In eval(expr, envir, enclos) :
predictions failed for Fold1: parameter=none Error in eval(expr, envir, enclos) : object 'x1:x2' not found
2: In eval(expr, envir, enclos) :
predictions failed for Fold2: parameter=none Error in eval(expr, envir, enclos) : object 'x1:x2' not found
3: In nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, :
There were missing values in resampled performance measures.
Вот мой sessionInfo():
> sessionInfo()
R version 3.2.4 (2016-03-10)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows >= 8 x64 (build 9200)
locale:
[1] LC_COLLATE=English_United States.1252 LC_CTYPE=English_United States.1252 LC_MONETARY=English_United States.1252 LC_NUMERIC=C
[5] LC_TIME=English_United States.1252
attached base packages:
[1] splines stats4 stats graphics grDevices utils datasets methods base
other attached packages:
[1] VGAM_1.0-0 caret_6.0-64 ggplot2_2.1.0 lattice_0.20-33
loaded via a namespace (and not attached):
[1] Rcpp_0.12.3 magrittr_1.5 MASS_7.3-45 munsell_0.4.3 colorspace_1.2-6 foreach_1.4.3 minqa_1.2.4 stringr_1.0.0 car_2.1-1
[10] plyr_1.8.3 tools_3.2.4 nnet_7.3-12 pbkrtest_0.4-6 parallel_3.2.4 grid_3.2.4 gtable_0.2.0 nlme_3.1-125 mgcv_1.8-12
[19] quantreg_5.21 e1071_1.6-7 class_7.3-14 MatrixModels_0.4-1 iterators_1.0.8 lme4_1.1-11 Matrix_1.2-3 nloptr_1.0.4 reshape2_1.4.1
[28] codetools_0.2-14 stringi_1.0-1 compiler_3.2.4 scales_0.4.0 SparseM_1.7
У кого-нибудь есть идеи, как это исправить?
2 ответа
Карет действительно обрабатывает взаимодействия. Однако я нашел обходной путь. Сначала вы можете вызвать model.matrix, чтобы создать матрицу с взаимодействиями. Вам также необходимо удалить перехват.
Используя ваш f2 в качестве примера, мы указываем данные не как формулу, а как x и y. X содержит спецификацию model.matrix с взаимодействиями, а -1 удаляет перехват. Это преобразуется как data.frame, и вы готовы к работе.
f2 <- train(y = y, x = data.frame(model.matrix(y ~ x1*x2 - 1, data = d)),
method = vglmTrain,
trControl = ctrl)
РЕДАКТИРОВАТЬ:
После отладки train.default и проверки вашей спецификации типа модели и некоторых других я обнаружил, что проверка выполняется в каретных моделях, а не в вашей. Проверка связана с функциями предикторов и пробников. Оба они имеют проверку на Dataframe. Если вы добавите эту проверку к обеим этим функциям, она будет работать как положено.
if (!is.data.frame(newdata))
newdata <- as.data.frame(newdata)
Вся функция будет тогда:
vglmTrain <- list(
label = "VGAM prop odds",
library = "VGAM",
loop = NULL,
type = "Classification",
parameters = data.frame(parameter = "parameter",
class = "character",
label = "parameter"),
grid = function(x, y,
len = NULL, search = "grid") data.frame(parameter = "none"),
fit = function(x, y, wts, param, lev, last, classProbs, ...) {
dat <- if(is.data.frame(x)) x else as.data.frame(x)
dat$.outcome <- y
if(!is.null(wts))
{
out <- vglm(.outcome ~ ., propodds, data = dat, weights = wts, ...)
} else {
out <- vglm(.outcome ~ ., propodds, data = dat, ...)
}
out
},
predict = function(modelFit, newdata, preProc = NULL, submodels = NULL) {
if (!is.data.frame(newdata))
newdata <- as.data.frame(newdata)
probs <- predict(modelFit, newdata, type = "response")
predClass <- function (x) {
n <- colnames(x)
factor(as.vector(apply(x, 1, which.max)),
levels = 1:length(n),
labels = n)
}
predClass(probs)
},
prob = function(modelFit, newdata, preProc = NULL, submodels = NULL) {
if (!is.data.frame(newdata))
newdata <- as.data.frame(newdata)
predict(modelFit, newdata, type = "response")
},
levels = function(x) x@misc$ynames,
tags = c("Cumulative Link", "Logistic Regression", "Accepts Case Weights",
"Probit", "Logit"),
sort = function(x) x)
Решение Phiver хорошо сработало для этого примера, но когда я добавил фиктивные переменные, модель снова потерпела неудачу.
Я сделал еще несколько копаний, и проблема, кажется, на самом деле возникла, потому что data.frame изменяет имена столбцов в наборе данных для прогнозирования. В двух звонках predict в моем коде я сейчас добавил data.frame(newdata, check.names = F) и это, кажется, делает свое дело.
Теперь он работает как с использованием интерфейса формулы
f2 <- train(y ~ x1 * x2, data = d,
method = vglmTrain,
trControl = ctrl)
и метод модельной матрицы
f2 <- train(y = y, x = data.frame(model.matrix(y ~ x1*x2 - 1, data = d)),
method = vglmTrain,
trControl = ctrl)
Вот новый код:
vglmTrain <- list(
label = "VGAM prop odds",
library = "VGAM",
loop = NULL,
type = "Classification",
parameters = data.frame(parameter = "parameter",
class = "character",
label = "parameter"),
grid = function(x, y,
len = NULL, search = "grid") data.frame(parameter = "none"),
fit = function(x, y, wts, param, lev, last, classProbs, ...) {
dat <- if(is.data.frame(x)) x else as.data.frame(x)
dat$.outcome <- y
if(!is.null(wts))
{
out <- vglm(.outcome ~ ., propodds, data = dat, weights = wts, ...)
} else {
out <- vglm(.outcome ~ ., propodds, data = dat, ...)
}
out
},
predict = function(modelFit, newdata, preProc = NULL, submodels = NULL) {
probs <- predict(modelFit, data.frame(newdata, check.names = F), type = "response")
predClass <- function (x) {
n <- colnames(x)
factor(as.vector(apply(x, 1, which.max)),
levels = 1:length(n),
labels = n)
}
predClass(probs)
},
prob = function(modelFit, newdata, preProc = NULL, submodels = NULL)
predict(modelFit, data.frame(newdata, check.names = F), type = "response"),
levels = function(x) x@misc$ynames,
tags = c("Cumulative Link", "Logistic Regression", "Accepts Case Weights",
"Probit", "Logit"),
sort = function(x) x)