Python - LightGBM с GridSearchCV, работает вечно

Question

Недавно я проводил несколько экспериментов для сравнения Python XgBoost и LightGBM. Кажется, что LightGBM - это новый алгоритм, который, как говорят люди, работает лучше, чем XGBoost, как по скорости, так и по точности.

Это LightGBM GitHub. Это документы Python API LightGBM, здесь вы найдете функции Python, которые вы можете вызывать. Он может быть вызван напрямую из модели LightGBM, а также может быть вызван с помощью LightGBM scikit-learn.

Это API-интерфейс XGBoost Python, который я использую. Как вы можете видеть, он имеет очень похожую структуру данных как API-интерфейс Python LightGBM выше.

Вот что я попробовал:

1. Если вы используете train() метод в XGBoost и LightGBM, да, lightGBM работает быстрее и имеет более высокую точность. Но этот метод не имеет перекрестной проверки.
2. Если вы попытаетесь cv() Метод в обоих алгоритмах, это для перекрестной проверки. Однако я не нашел способа использовать его, чтобы получить набор оптимальных параметров.
3. если вы попробуете scikit-Learn GridSearchCV() с LGBMClassifier и XGBClassifer. Он работает для XGBClassifer, но для LGBClassifier работает вечно.

Вот мои примеры кода при использовании GridSearchCV() с обоими классификаторами:

Классификатор XGB с GridSearchCV

param_set = {
 'n_estimators':[50, 100, 500, 1000]
}
gsearch = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, 
n_estimators=100, max_depth=5,
min_child_weight=1, gamma=0, subsample=0.8, colsample_bytree=0.8, 
nthread=7,
objective= 'binary:logistic', scale_pos_weight=1, seed=410), 
param_grid = param_set, scoring='roc_auc',n_jobs=7,iid=False, cv=10)

xgb_model2 = gsearch.fit(features_train, label_train)
xgb_model2.grid_scores_, xgb_model2.best_params_, xgb_model2.best_score_

Это очень хорошо работает для XGBoost и занимает всего несколько секунд.

LightGBM с GridSearchCV

param_set = {
 'n_estimators':[20, 50]
}

gsearch = GridSearchCV(estimator = LGBMClassifier( boosting_type='gbdt', num_leaves=30, max_depth=5, learning_rate=0.1, n_estimators=50, max_bin=225, 
 subsample_for_bin=0.8, objective=None, min_split_gain=0, 
 min_child_weight=5, 
 min_child_samples=10, subsample=1, subsample_freq=1, 
colsample_bytree=1, 
reg_alpha=1, reg_lambda=0, seed=410, nthread=7, silent=True), 
param_grid = param_set, scoring='roc_auc',n_jobs=7,iid=False, cv=10)

lgb_model2 = gsearch.fit(features_train, label_train)
lgb_model2.grid_scores_, lgb_model2.best_params_, lgb_model2.best_score_

Однако, используя этот метод для LightGBM, он работал все утро, и сегодня ничего не генерируется.

Я использую тот же набор данных, набор данных содержит 30000 записей.

У меня есть 2 вопроса:

1. Если мы просто используем cv() метод, есть ли способ настроить оптимальный набор параметров?
2. Ты знаешь почему GridSearchCV() не работает с LightGBM? Мне интересно, случается ли это только со мной, с другими?

Answer 1

Попробуй использовать n_jobs = 1 и посмотреть, если это работает.

В общем, если вы используете n_jobs = -1 или же n_jobs > 1 тогда вы должны защитить свой скрипт с помощью if __name__=='__main__'::

Простой пример:

import ...

if __name__=='__main__':

    data= pd.read_csv('Prior Decompo2.csv', header=None)
    X, y = data.iloc[0:, 0:26].values, data.iloc[0:,26].values
    param_grid = {'C' : [0.01, 0.1, 1, 10], 'kernel': ('rbf', 'linear')}
    classifier = SVC()
    grid_search = GridSearchCV(estimator=classifier, param_grid=param_grid, scoring='accuracy', n_jobs=-1, verbose=42)
    grid_search.fit(X,y)

Наконец, вы можете попробовать запустить свой код, используя n_jobs = -1 и в том числе if __name__=='__main__': как я объяснил и посмотреть, работает ли это?

Answer 2

Первоначальная проблема связана с lightgbm а также GridSearchCV запуск слишком большого количества потоков (т.е. больше, чем доступно на машине). Если продукт (или сумма? Это зависит от того, как GridSearchCV из тех, что все еще в пределах возможностей машины, то он будет работать. Если есть слишком много тем, они сталкиваются и lightgbm останавливает исполнение по какой-то неясной для меня, но известной разработчикам причине.