Ошибка метрики F-счета Scikit

Я пытаюсь предсказать набор меток, используя логистическую регрессию из SciKit. Мои данные действительно несбалансированы (меток "0" больше, чем "1"), поэтому я должен использовать метрику балла F1 во время шага перекрестной проверки, чтобы "сбалансировать" результат.

[Input]
X_training, y_training, X_test, y_test = generate_datasets(df_X, df_y, 0.6)
logistic = LogisticRegressionCV(
    Cs=50,
    cv=4,
    penalty='l2', 
    fit_intercept=True,
    scoring='f1'
)
logistic.fit(X_training, y_training)
print('Predicted: %s' % str(logistic.predict(X_test)))
print('F1-score: %f'% f1_score(y_test, logistic.predict(X_test)))
print('Accuracy score: %f'% logistic.score(X_test, y_test))

[Output]
>> Predicted: [0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0]
>> Actual:    [0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 1 1]
>> F1-score: 0.285714
>> Accuracy score: 0.782609
>> C:\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:958:  
   UndefinedMetricWarning:
   F-score is ill-defined and being set to 0.0 due to no predicted samples.

Я, конечно, знаю, что проблема связана с моим набором данных: он слишком мал (это только образец реального). Тем не менее, кто-нибудь может объяснить значение предупреждения "UndefinedMetricWarning", которое я вижу? Что на самом деле происходит за кулисами?

Источник

2 ответа

Решение

Кажется, это известная ошибка, которая была исправлена, я думаю, вам стоит попробовать обновить sklearn.

Источник

Тем не менее, кто-нибудь может объяснить значение предупреждения "UndefinedMetricWarning", которое я вижу? Что на самом деле происходит за кулисами?

Это хорошо описано по адресу /questions/37300208/pochemu-scikitlearn-govorit-chto-otsenka-f1-ploho-opredelena-s-fn-bolshe-0/37300220#37300220:

https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/metrics/classification.py

F1 = 2 * (точность * отзыв) / (точность + отзыв)

точность = TP/(TP+FP), как вы только что сказали, если предиктор вообще не предсказывает положительный класс - точность равна 0.

Возврат = TP/(TP+FN), в случае, если предиктор не предсказывает положительный класс - TP равен 0 - отзыв равен 0.

Итак, теперь вы делите 0/0.

Чтобы решить проблему взвешивания (классификатор легко (почти) всегда предсказывает более распространенный класс), вы можете использовать class_weight="balanced":

logistic = LogisticRegressionCV(
    Cs=50,
    cv=4,
    penalty='l2', 
    fit_intercept=True,
    scoring='f1',
    class_weight="balanced"
)

LogisticRegressionCV говорит:

"Сбалансированный" режим использует значения y для автоматической регулировки весов, обратно пропорциональных частотам классов во входных данных, как n_samples / (n_classes * np.bincount(y)),

Источник
Другие вопросы по тегам