mlr3: как фильтровать с помощью mlr обучающий набор данных и применять результаты к обучению модели?

Question

При создании фильтра в mlr3, как вы основываете фильтр только на обучающих данных?

После того, как фильтр создан, как вы применяете фильтр к процессу моделирования и подмножество обучающих данных, чтобы включать только значения фильтра выше определенного порога?

library(mlr3)
library(mlr3filters)
library(mlr3learners)
library(tidyverse)


data(iris)
iris <- iris %>%
  select(-Species)
  
tsk <- mlr3::TaskRegr$new("iris", 
                          backend = iris, 
                          target = "Sepal.Length")

#split train and test
trn_ids <- sample(tsk$row_ids, floor(0.8 * length(tsk$row_ids)), F)
tst_ids <- setdiff(tsk$row_ids, trn_ids)

#create a filter
filter = flt("correlation", method = "spearman")

# Question 1: how to calculate the filter only for the train IDs?
filter$calculate(tsk)
print(filter)

# Question 2: how to only use only variables with X correlation or greater in training?
learner <- mlr_learners$get("regr.glmnet")
learner$train(tsk, row_ids = trn_ids)
prediction <- learner$predict(tsk, row_ids = tst_ids)
prediction$response

Answer 1

Фильтры можно обернуть в Learner, используя mlr3pipelines.

В mlr3gallery есть пример здесь (раздел "Фильтрация функций").

Базовый рецепт - создать такой график:

fpipe = po("filter", flt("mim"), filter.nfeat = 3) $>>$ lrn("regr.glmnet")

и заверните это в GraphLearner:

lrnr = GraphLearner$new(fpipe).

lrnr теперь может использоваться как любой другой учащийся и внутренне фильтрует функции в соответствии с указанным фильтром перед обучением учащегося.