xgboost в R: как xgb.cv передает оптимальные параметры в xgb.train

Question

Я изучал xgboost пакет в R и прошел несколько демонстраций, а также учебные пособия, но это все еще смущает меня: после использования xgb.cv сделать перекрестную проверку, как оптимальные параметры передаются в xgb.train? Или я должен рассчитать идеальные параметры (такие как nround, max.depth) на основе вывода xgb.cv?

param <- list("objective" = "multi:softprob",
              "eval_metric" = "mlogloss",
              "num_class" = 12)
cv.nround <- 11
cv.nfold <- 5
mdcv <-xgb.cv(data=dtrain,params = param,nthread=6,nfold = cv.nfold,nrounds = cv.nround,verbose = T)

md <-xgb.train(data=dtrain,params = param,nround = 80,watchlist = list(train=dtrain,test=dtest),nthread=6)

Answer 1

Похоже, вы неправильно поняли xgb.cv, это не функция поиска параметров. Это делает перекрестную проверку в k-кратном размере, не более того.

В вашем коде это не меняет значение param,

Чтобы найти лучшие параметры в R XGBoost, есть несколько методов. Это 2 метода,

(1) Использование mlr пакет, http://mlr-org.github.io/mlr-tutorial/release/html/

В примере Pagdential для Kaggle есть пример кода XGBoost + mlr,

Но этот код предназначен для регрессии, а не для классификации. Насколько я знаю, нет mlogloss Метрика еще в mlr пакет, так что вы должны кодировать измерение Mlogloss с нуля самостоятельно. CMIIW.

(2) Второй метод, вручную устанавливая параметры, затем повторите, например,

param <- list(objective = "multi:softprob",
      eval_metric = "mlogloss",
      num_class = 12,
      max_depth = 8,
      eta = 0.05,
      gamma = 0.01, 
      subsample = 0.9,
      colsample_bytree = 0.8, 
      min_child_weight = 4,
      max_delta_step = 1
      )
cv.nround = 1000
cv.nfold = 5
mdcv <- xgb.cv(data=dtrain, params = param, nthread=6, 
                nfold=cv.nfold, nrounds=cv.nround,
                verbose = T)

Затем вы найдете лучший (минимальный) Mlogloss,

min_logloss = min(mdcv[, test.mlogloss.mean])
min_logloss_index = which.min(mdcv[, test.mlogloss.mean])

min_logloss минимальное значение mlogloss, в то время как min_logloss_index это индекс (раунд).

Вы должны повторить вышеописанный процесс несколько раз, каждый раз меняя параметры вручную (mlr повторяет за вас). Пока, наконец, вы не получите лучший мировой минимум min_logloss,

Примечание: Вы можете сделать это в цикле из 100 или 200 итераций, в котором для каждой итерации вы устанавливаете значение параметра случайным образом. Таким образом, вы должны сохранить лучшее [parameters_list, min_logloss, min_logloss_index] в переменных или в файле.

Примечание: лучше установить случайное начальное число set.seed() для воспроизводимого результата. Разные случайные семена дают разные результаты. Итак, вы должны сохранить [parameters_list, min_logloss, min_logloss_index, seednumber] в переменных или файле.

Скажем, что в итоге вы получите 3 результата за 3 итерации / повторения:

min_logloss = 2.1457, min_logloss_index = 840
min_logloss = 2.2293, min_logloss_index = 920
min_logloss = 1.9745, min_logloss_index = 780

Тогда вы должны использовать третьи параметры (он имеет глобальный минимум min_logloss из 1.9745). Ваш лучший индекс (nrounds) 780,

Как только вы получите лучшие параметры, используйте его на тренинге,

# best_param is global best param with minimum min_logloss
# best_min_logloss_index is the global minimum logloss index
nround = 780
md <- xgb.train(data=dtrain, params=best_param, nrounds=nround, nthread=6)

Я не думаю что тебе нужно watchlist в обучении, потому что вы сделали перекрестную проверку. Но если вы все еще хотите использовать watchlistЭто просто хорошо.

Еще лучше вы можете использовать раннюю остановку в xgb.cv,

mdcv <- xgb.cv(data=dtrain, params=param, nthread=6, 
                nfold=cv.nfold, nrounds=cv.nround,
                verbose = T, early.stop.round=8, maximize=FALSE)

С этим кодом, когда mlogloss значение не уменьшается в 8 шагов, xgb.cv остановится. Вы можете сэкономить время. Вы должны установить maximize в FALSE, потому что вы ожидаете минимального mlogloss.

Вот пример кода с циклом в 100 итераций и произвольно выбранными параметрами.

best_param = list()
best_seednumber = 1234
best_logloss = Inf
best_logloss_index = 0

for (iter in 1:100) {
    param <- list(objective = "multi:softprob",
          eval_metric = "mlogloss",
          num_class = 12,
          max_depth = sample(6:10, 1),
          eta = runif(1, .01, .3),
          gamma = runif(1, 0.0, 0.2), 
          subsample = runif(1, .6, .9),
          colsample_bytree = runif(1, .5, .8), 
          min_child_weight = sample(1:40, 1),
          max_delta_step = sample(1:10, 1)
          )
    cv.nround = 1000
    cv.nfold = 5
    seed.number = sample.int(10000, 1)[[1]]
    set.seed(seed.number)
    mdcv <- xgb.cv(data=dtrain, params = param, nthread=6, 
                    nfold=cv.nfold, nrounds=cv.nround,
                    verbose = T, early.stop.round=8, maximize=FALSE)

    min_logloss = min(mdcv[, test.mlogloss.mean])
    min_logloss_index = which.min(mdcv[, test.mlogloss.mean])

    if (min_logloss < best_logloss) {
        best_logloss = min_logloss
        best_logloss_index = min_logloss_index
        best_seednumber = seed.number
        best_param = param
    }
}

nround = best_logloss_index
set.seed(best_seednumber)
md <- xgb.train(data=dtrain, params=best_param, nrounds=nround, nthread=6)

С этим кодом вы запускаете перекрестную проверку 100 раз, каждый раз со случайными параметрами. Тогда вы получите лучший набор параметров, то есть в итерации с минимальным min_logloss,

Увеличить значение early.stop.round в случае, если вы обнаружите, что он слишком мал (слишком рано останавливается). Вам также необходимо изменить предел случайных значений параметров на основе ваших характеристик данных.

И, на 100 или 200 итераций, я думаю, что вы хотите изменить verbose ЛОЖЬ.

Примечание: это пример случайного метода, вы можете настроить его, например, с помощью байесовской оптимизации для лучшего метода. Если у вас есть версия XGBoost на Python, есть хороший гиперпараметрический сценарий для XGBoost: https://github.com/mpearmain/BayesBoost для поиска лучшего набора параметров с использованием байесовской оптимизации.

Изменить: я хочу добавить третий ручной метод, опубликованный "Давут Полат" мастер Kaggle, на форуме Kaggle.

Изменить: Если вы знаете Python и sklearn, вы также можете использовать GridSearchCV вместе с xgboost.XGBClassifier или xgboost.XGBRegressor

Answer 2

Это хороший вопрос и отличный ответ от бункера с большим количеством деталей! Я нашел это очень полезным для кого-то нового xgboost как я. Спасибо. Метод рандомизации и сравнения с границей очень вдохновляет. Полезно и полезно знать. Теперь в 2018 году требуется небольшой пересмотр, например, early.stop.round должно быть early_stopping_rounds, Выход mdcv организован немного по-другому:

  min_rmse_index  <-  mdcv$best_iteration
  min_rmse <-  mdcv$evaluation_log[min_rmse_index]$test_rmse_mean

И зависит от приложения (линейный, логистический и т. Д.), objective, eval_metric и параметры должны быть соответствующим образом скорректированы.

Для удобства любого, кто запускает регрессию, вот слегка скорректированная версия кода (большинство из них такие же, как и выше).

library(xgboost)
# Matrix for xgb: dtrain and dtest, "label" is the dependent variable
dtrain <- xgb.DMatrix(X_train, label = Y_train)
dtest <- xgb.DMatrix(X_test, label = Y_test)

best_param <- list()
best_seednumber <- 1234
best_rmse <- Inf
best_rmse_index <- 0

set.seed(123)
for (iter in 1:100) {
  param <- list(objective = "reg:linear",
                eval_metric = "rmse",
                max_depth = sample(6:10, 1),
                eta = runif(1, .01, .3), # Learning rate, default: 0.3
                subsample = runif(1, .6, .9),
                colsample_bytree = runif(1, .5, .8), 
                min_child_weight = sample(1:40, 1),
                max_delta_step = sample(1:10, 1)
  )
  cv.nround <-  1000
  cv.nfold <-  5 # 5-fold cross-validation
  seed.number  <-  sample.int(10000, 1) # set seed for the cv
  set.seed(seed.number)
  mdcv <- xgb.cv(data = dtrain, params = param,  
                 nfold = cv.nfold, nrounds = cv.nround,
                 verbose = F, early_stopping_rounds = 8, maximize = FALSE)

  min_rmse_index  <-  mdcv$best_iteration
  min_rmse <-  mdcv$evaluation_log[min_rmse_index]$test_rmse_mean

  if (min_rmse < best_rmse) {
    best_rmse <- min_rmse
    best_rmse_index <- min_rmse_index
    best_seednumber <- seed.number
    best_param <- param
  }
}

# The best index (min_rmse_index) is the best "nround" in the model
nround = best_rmse_index
set.seed(best_seednumber)
xg_mod <- xgboost(data = dtest, params = best_param, nround = nround, verbose = F)

# Check error in testing data
yhat_xg <- predict(xg_mod, dtest)
(MSE_xgb <- mean((yhat_xg - Y_test)^2))

Answer 3

Я нашел ответ силоса очень полезным. В дополнение к его подходу случайных исследований вы можете использовать байесовскую оптимизацию для облегчения процесса поиска гиперпараметров, например, в библиотеке rBayesianOptimization. Ниже приведен мой код с библиотекой rbayesian optimization.

cv_folds <- KFold(dataFTR$isPreIctalTrain, nfolds = 5, stratified = FALSE, seed = seedNum)
xgb_cv_bayes <- function(nround,max.depth, min_child_weight, subsample,eta,gamma,colsample_bytree,max_delta_step) {
param<-list(booster = "gbtree",
            max_depth = max.depth,
            min_child_weight = min_child_weight,
            eta=eta,gamma=gamma,
            subsample = subsample, colsample_bytree = colsample_bytree,
            max_delta_step=max_delta_step,
            lambda = 1, alpha = 0,
            objective = "binary:logistic",
            eval_metric = "auc")
cv <- xgb.cv(params = param, data = dtrain, folds = cv_folds,nrounds = 1000,early_stopping_rounds = 10, maximize = TRUE, verbose = verbose)

list(Score = cv$evaluation_log$test_auc_mean[cv$best_iteration],
     Pred=cv$best_iteration)
# we don't need cross-validation prediction and we need the number of rounds.
# a workaround is to pass the number of rounds(best_iteration) to the Pred, which is a default parameter in the rbayesianoptimization library.
}
OPT_Res <- BayesianOptimization(xgb_cv_bayes,
                              bounds = list(max.depth =c(3L, 10L),min_child_weight = c(1L, 40L),
                                            subsample = c(0.6, 0.9),
                                            eta=c(0.01,0.3),gamma = c(0.0, 0.2),
                                            colsample_bytree=c(0.5,0.8),max_delta_step=c(1L,10L)),
                              init_grid_dt = NULL, init_points = 10, n_iter = 10,
                              acq = "ucb", kappa = 2.576, eps = 0.0,
                              verbose = verbose)
best_param <- list(
booster = "gbtree",
eval.metric = "auc",
objective = "binary:logistic",
max_depth = OPT_Res$Best_Par["max.depth"],
eta = OPT_Res$Best_Par["eta"],
gamma = OPT_Res$Best_Par["gamma"],
subsample = OPT_Res$Best_Par["subsample"],
colsample_bytree = OPT_Res$Best_Par["colsample_bytree"],
min_child_weight = OPT_Res$Best_Par["min_child_weight"],
max_delta_step = OPT_Res$Best_Par["max_delta_step"])
# number of rounds should be tuned using CV
#https://www.hackerearth.com/practice/machine-learning/machine-learning-algorithms/beginners-tutorial-on-xgboost-parameter-tuning-r/tutorial/
# However, nrounds can not be directly derivied from the bayesianoptimization function
# Here, OPT_Res$Pred, which was supposed to be used for cross-validation, is used to record the number of rounds
nrounds=OPT_Res$Pred[[which.max(OPT_Res$History$Value)]]
xgb_model <- xgb.train (params = best_param, data = dtrain, nrounds = nrounds)