The area under the ROC curve can be thought of as a single scalar representation of the ROC curve itself. The AUC of a classifier has the property of being equivalent to the probability that the classifier will rank a randomly chosen positive data point higher than a randomly chosen negative data point.
0 ответов

Площадь R под кривой ZOO пакета

Я хотел бы рассчитать AUC для кадра данных, используя пакет ZOO, как описано в предыдущем посте AUC: library(zoo) x <- hdt_br$time y <- hdt_br$OD id <- order(x) AUC <- sum(diff(x[id])*rollmean(y[id],2)) Использование вышеуказанного метод…
29 май '18 в 13:24
2 ответа

Как получить кривую ROC для дерева решений?

Я пытаюсь найти кривую ROC и AUROC для дерева решений. Мой код был что-то вроде clf.fit(x,y) y_score = clf.fit(x,y).decision_function(test[col]) pred = clf.predict_proba(test[col]) print(sklearn.metrics.roc_auc_score(actual,y_score)) fpr,tpr,thre = …
28 июл '17 в 14:46
1 ответ

Определение положительного класса в пакете pROC

Я хочу рассчитать различные метрики классификации (чувствительность, специфичность) с помощью пакета pROC. Для этого я могу использовать coords функция в pROC пакет как: # Load library library(pROC) # Load data data(aSAH) #Convert Good and Poor to 1…
23 июл '16 в 01:27
1 ответ

Оценка метрики ROC, пакет каретки - R

У меня есть этот код: model_nn <- train( Y ~ ., training, method = "nnet", metric = "ROC", trControl = trainControl( method = "cv", number = 10, verboseIter = TRUE, classProbs = TRUE, summaryFunction = twoClassSummary ) ) nnprediction <- predi…
10 июн '18 в 15:42
0 ответов

Перекрестная проверка AUC для кривой ROC с логистической регрессией

Я запускаю скрипт r для перекрестной проверки AUC для кривой ROC. У меня есть набор данных из 70 человек; 24 с болезнью и 46 без болезни. У меня есть список из восьми переменных, которые я использую в модели логистической регрессии для разработки пр…
27 июн '18 в 11:50
2 ответа

Как использовать мульткласс.au1p меру в млр

Я пытаюсь использовать меру multiclass.au1p в пакете mlr. Это дало мне ошибку, сказав Ошибка в FUN(X[[i]], ...): Мера multiclass.au1p требует, чтобы типом предсказания было: 'prob'! Когда я пытался установить тип предсказания на prob, он выдавал оши…
12 апр '17 в 20:28
1 ответ

Как интерпретировать оценку AUC в этом случае?

Я просто запускаю модель случайного леса на наборе данных дисбаланса. Я получил набор AUC и матрицу путаницы. AUC показался неплохим, но на самом деле модель предсказывает каждый случай как положительный. Так как это произошло и как правильно исполь…
1 ответ

Как интерпретировать эту кривую ROC AUC треугольной формы?

У меня есть более 10 функций и дюжина тысяч случаев для обучения логистической регрессии для классификации расы людей. Первый пример - французский против не французского, а второй - английский против не английского. Результаты приведены ниже: //////…
1 ответ

R-функция colAUC в пакете caTools не работает с большими выборками

Например: require(caTools) colAUC(runif(90000), sample(c(0,1), 90000, replace = TRUE)) [,1] 0 vs. 1 0.5000629 работает нормально, однако colAUC(runif(100000), sample(c(0,1), 100000, replace = TRUE)) дает [,1] 0 vs. 1 NA Warning message: In n1 * n2 :…
19 апр '14 в 07:13
2 ответа

roc_auc_score - в y_true присутствует только один класс

Я делаю XV-кратный XV на существующем фрейме данных, и мне нужно получить оценку AUC. Проблема в том, что иногда тестовые данные содержат только 0, а не 1! Я попытался использовать этот пример, но с разными номерами: import numpy as np from sklearn.…
17 июл '17 в 08:18
0 ответов

Вычисление кривых ROC без баллов

Я работаю с программой приоритезации генов и хочу проанализировать ее эффективность, используя кривые ROC и пакет ROCR для R. Проблема в том, что программа не дает мне оценку для каждого гена, она только упорядочивает гены. ROCR использует только не…
01 июн '18 в 16:53
2 ответа

Метка прогнозирования для прогнозирования вероятности /AUC с использованием SVM scikit-learn

Для соревнований DS я использовал SVM для бинарной классификации. Здесь tdata, vdata оба имеют 256 функций. tlabels, vlabels оба имеют размеры n_samples x 1, и их уникальные значения равны 0/1. Теперь, согласно правилам соревнований, вместо меток на…
04 июл '17 в 11:12
1 ответ

Изменить значения отсечки ROC, используя пакет AUC в R

Я строю ROC-участки в R, используя пакет AUC. Это первые 5 точек набора данных из 300 точек, сравнивающих вероятность выживания с наблюдаемой выживаемостью. predict1 <- c(0.755, 0.755, 0.937, 0.978, 0.755) y <- c(1,1,1,0,1) ROC_null_a <- au…
24 фев '16 в 02:48
1 ответ

Как я могу запустить цикл логистической регрессии, который будет работать со всеми независимыми переменными, парами и трио

Я хотел бы запустить зависимую переменную логистической регрессии (в моем наборе данных это: dat$admit) со всеми доступными переменными, парами и трио (3 независимых переменных), каждая регрессия с различными независимыми переменными и зависимой пер…
13 май '14 в 07:04
2 ответа

Как векторизовать расчет площади под кривой

Моя цель: я вычисляю площадь под кривой одного из столбцов моего xts для каждых 5 строк. Моя цель: мне было интересно, есть ли в R функция, которая могла бы сделать это быстрее (векторизовать ее) вместо создания вектора из столбцов myxts5 и затем ци…
23 июн '14 в 20:49
1 ответ

Чем AUC может отличаться от GridSearchCV AUC?

Я строю модель MLPClassifier в Sci-Kit Learn. Я использовал gridSearchCV с roc_auc для оценки модели. Средний балл за поезд и тест составляет около 0,76, неплохо. Выход из cv_results_ является: Train set AUC: 0.553465272412 Grid best score (AUC): 0.…
0 ответов

Кумулятивная площадь под кривой выше предельного значения

Я не студент по вычислительной технике / математике, который действительно плохо знаком с R и нуждается в некоторой помощи. Я предоставил фиктивный набор данных и пример, чтобы проиллюстрировать мои проблемы. Примечание: AUC = площадь под кривой; IC…
29 июн '18 в 15:46
0 ответов

Рассчитать AUC в MATLAB

У меня есть данные испытаний: testX (1000*18), testY (1000*1) в качестве входных и выходных векторов для задачи бинарной классификации около 1000 наблюдений с 18 признаками. Я создал новый алгоритм ансамбля классификации с прогнозируемым выходом MyF…
08 дек '17 в 12:54
2 ответа

Добавление произвольной кривой с AUC 0.8 к графику ROC

У меня есть простой ROC-график, который я создаю с помощью пакета pROC: plot.roc(response, predictor) Он работает нормально, как и ожидалось, но я хотел бы добавить эталонную кривую "идеальной" формы с AUC 0.8 для сравнения (AUC моего графика ROC со…
16 апр '15 в 23:27
0 ответов

Mahout Случайный Лес AUC

Мне было интересно, есть ли в любом случае рассчитать AUC (площадь под кривой ROC) для набора данных испытаний (проверки) с использованием реализации случайного леса в Mahout. Спасибо
15 авг '14 в 11:18