ML.NET - Multiclass Classificaion оценки значений

Question

В настоящее время у меня есть проект, чтобы взять большие куски текста и классифицировать их как типы. Это похоже на пример настроения, предоставляемый Microsoft, за исключением мультикласса вместо двоичного.

У меня код работает нормально, и, вероятно, он станет сильнее, когда мы добавим в него данные. Тем не менее, я попал в ловушку, где я не могу определить, просто ли предсказание не знает, что выбрать. Для моего проекта гораздо важнее не знать ответ, чем ошибиться. Я не уверен, что это вообще вещь в ML.net. Я просматривал документацию, и единственное, что я смог найти, было значение оценки, полученное в результате прогноза. Проблема заключается в том, что я не знаю, что означают какие-либо значения баллов. Я знаю, что они разбиты на классы, но числовые значения у разных алгоритмов разные. У кого-нибудь есть понимание этих ценностей? Или, если какой-либо совет по вопросу "не знаю" против "угадывания"?

Цените ваше время, спасибо.

Answer 1

Баллы в основном зависят от учащегося, единственное требование состоит в том, что они являются монотонными (чем выше балл, тем выше вероятность того, что пример принадлежит этому классу).

Но у учащихся мультикласса ML.NET они всегда между 0 и 1, суммой до 1. Вы можете думать о баллах как о "предсказанных вероятностях принадлежности к этому классу".

Теперь к вопросу о том, как принять во внимание доверие. Для задачи бинарной классификации у меня была бы стандартная рекомендация: построить кривую точности-отзыва, а затем вместо того, чтобы выбрать один порог в оценке, выбрать два: один, который дает положительный результат с высокой точностью (потенциально низкий отзыв), и другой, который дает высокоточный потенциально низкий отзыв) отрицательный.

Так:

if (score > threshold1)
    return "positive";
else if (score < threshold2)
    return "negative";
else
    return "don't know";

В случае мультикласса вы можете использовать одну и ту же процедуру независимо для каждого класса. Таким образом, вы получите ответ "да-нет-возможно" для каждого класса.

При таком подходе вам придется иметь дело с возможностью множественного "да" или другими видами конфликтов, но, по крайней мере, это дает представление.