Граничные значения ROCR и графики точности

Question

У меня есть непрерывная независимая переменная (скажем, "высота") и бинарная независимая переменная (скажем, "получает работу"). Я хочу видеть, какое значение отсечения для высоты лучше всего предсказывает способность человека получить работу. Я также хочу увидеть, насколько точна эта модель. Я предположил полиномиальную логистическую модель. Я хотел кривую ROC, поэтому я использовал пакет ROCR в R. Это был мой код:

mymodel <- multinom(job~height, data = dataset)
pred <- predict(mymodel,dataset,type = 'prob')
roc_pred <- prediction(pred,dataset$job)
roc <- performance(roc_pred,"tpr","fpr")
plot(roc,colorize=T) 

Теперь это мой вопрос. Когда я раскрашиваю график, он дает мне диапазон предельных значений, используемых для построения графика. Я немного сбит с толку относительно того, что на самом деле являются значения среза. Являются ли значения среза высотами? Или вероятность того, что определенная точка данных (человек) с определенной высотой способна устроиться на работу? У меня есть ощущение, что это последнее, но мне интересно первое. Если это последнее, как я могу получить значение отсечения для высоты?

Answer 1

Я нашел видео, в котором объясняются сокращения, которые вы видите: https://www.youtube.com/watch?v=YdNhNfJ4Vl8.

Существует множество различных способов оценки оптимальных порогов: индекс Юдена, чувствительность + специфичность, расстояние до угла и многие другие (см. эту статью ). Я предлагаю вам использоватьpROCбиблиотека для этого

      library(pROC)
roc <- roc(fit, obs, percent = TRUE)
roc.out <- coords(roc, "best", ret = c("threshold", "sens", "spec"), transpose = TRUE)

метод «наилучший» использует индекс Юндена (J-индекс). Максимальное значение индекса Юдена равно 1 (идеальный тест), а минимальное значение равно 0, когда тест не имеет диагностической ценности. Минимум возникает, когда чувствительность=1-специфичность, т. е. представлен равной линией (диагональю) на ROC-диаграмме. Расстояние по вертикали между равной линией и кривой ROC является J-индексом для этой конкретной границы отсечки. J-индекс представлен самой ROC-кривой.