Лучшая функция для сравнения объектов модели каретки

Question

У меня есть несколько объектов модели каретки, использующих одни и те же данные и параметры настройки. Для проверки работоспособности я хочу увидеть, дает ли мне каждый метод один и тот же объект модели. (Это все часть более широкого плана по запуску параллельной обработки и обеспечению того, чтобы мои модели были одинаковыми.)

Например, ниже я тренирую 2 разные модели и хочу сравнить.

Когда я сравниваю объекты каретки, он возвращает FALSE.

> library(caret)
> 
> set.seed(0)
> myControl <- trainControl(method='cv', index=createFolds(iris$Species))
> 
> set.seed(0)
> model1 <- train(Species~., iris, method='rf', trControl=myControl)
> 
> set.seed(0)
> model2 <- train(Species~., iris, method='rf', trControl=myControl)
> 
> identical(model1,model2)
[1] FALSE
> all.equal(model1,model2)
[1] "Component “times”: Component “everything”: Mean relative difference: 0.09036145"
[2] "Component “times”: Component “final”: Mean relative difference: 0.75"           
> compare_models(model1, model2)

    One Sample t-test

data:  x
t = NaN, df = 9, p-value = NA
alternative hypothesis: true mean is not equal to 0
95 percent confidence interval:
 NaN NaN
sample estimates:
mean of x 
        0 

Если я сравниваю окончательную модель вместо объекта каретки, она вернет ИСТИНА.

> identical(model1$finalModel,model2$finalModel)
[1] TRUE
> all.equal(model1$finalModel,model2$finalModel)
[1] TRUE

Итак, я пытаюсь определить, почему объекты каретки разные? Или я использую неправильную функцию?

Я также установил семена (как в этом примере: /questions/32230512/polnostyu-vosproizvodimyie-parallelnyie-modeli-s-ispolzovaniem-karetki/32230524#32230524) и все еще имею ту же проблему.

ОБНОВЛЕНИЕ: когда я меняю местами разные модели (например, rpart, lm), тогда со спецификацией finalModel я получаю ЛОЖЬ для идентичного вызова () и ИСТИНА для all.equal(). Что-то должно быть в использовании разных моделей?

> set.seed(0)
> myControl <- trainControl(method='cv', index=createFolds(iris$Species))
> 
> set.seed(0)
> model3 <- train(Species~., iris, method='rpart', trControl=myControl)
> 
> set.seed(0)
> model4 <- train(Species~., iris, method='rpart', trControl=myControl)
> 
> identical(model3,model4)
[1] FALSE
> all.equal(model3,model4)
[1] "Component “times”: Component “everything”: Mean relative difference: 0.05063291"
[2] "Component “times”: Component “final”: Mean relative difference: 1"              
> compare_models(model3, model4)

    One Sample t-test

data:  x
t = NaN, df = 9, p-value = NA
alternative hypothesis: true mean is not equal to 0
95 percent confidence interval:
 NaN NaN
sample estimates:
mean of x 
        0 

> 
> identical(model3$finalModel,model4$finalModel)
[1] FALSE
> all.equal(model3$finalModel,model4$finalModel)
[1] TRUE

Answer 1

train() хранит время выполнения, необходимое для запуска функции, см. model1$times а также ?train. Я думаю, что эти времена не имеют отношения к вашей цели, так что вы можете спокойно их игнорировать:

all.equal(model1[!names(model1) %in% "times"], model2[!names(model2) %in% "times"])