Описание тега precision-recall

Точность и отзыв - это статистические показатели эффективности алгоритмов поиска информации, основанных на двоичной классификации. Точность - это мера процента всех релевантных классификаций (извлеченных элементов). Отзыв - это мера процента соответствующих классификаций (извлеченных элементов), успешно обнаруженных алгоритмом, по сравнению со всеми соответствующими элементами, которые существуют и могли быть найдены.
2 ответа

Какова правильная версия средней точности?

Я пытаюсь вычислить среднюю точность (и среднюю среднюю точность) в наборе изображений здания Оксфорд. Ниже приведен код, который они предоставляют для вычисления средней точности. Заметить, что pos_set является объединением "оптимальных" и "хороших…
21 дек '16 в 17:59
1 ответ

Нужна помощь в применении scikit-learn к этой несбалансированной задаче категоризации текста

У меня многоклассовая проблема классификации / категоризации текста. У меня есть набор наземных данных правды с K разные взаимоисключающие классы. Это несбалансированная проблема в двух отношениях. Во-первых, некоторые занятия намного чаще, чем друг…
0 ответов

Расчет точности, отзыва и F1 в Keras v2, я делаю это правильно?

Уже есть вопрос о том, как получить точность, отзыв и оценки F1 в Keras v2, вот метод, который я использую, но вопрос: я делаю это правильно? Прежде всего, Ф. Чоллет говорит, что он удалил эти три метрики из версии 2 Keras, потому что они были основ…
28 апр '18 в 10:33
1 ответ

Показатели склеарна для мультиклассовой классификации

Я выполнил классификацию GaussianNB, используя sklearn. Я попытался вычислить метрики, используя следующий код: print accuracy_score(y_test, y_pred) print precision_score(y_test, y_pred) Оценка точности работает правильно, но расчет точности показыв…
1 ответ

Вычислите точность и вызов по мультиклассовым наборам данных CSV.

Мне нужно рассчитать точность и вспомнить из CSV, которые содержат мультиклассовую классификацию. Чтобы быть более конкретным, мой CSV имеет следующую структуру: real_class1, classified_class1 real_class2, classified_class3 real_class3, classified_c…
05 мар '18 в 15:07
1 ответ

Как оптимизировать кривую точности-отзыва вместо кривой AUC-ROC в python scikit-learn?

Я задаю дополнительный вопрос, как это было предложено в моем предыдущем посте - Хорошая кривая ROC, но плохая кривая точности-отзыва. Я использую только настройку по умолчанию с Python scikit-learn. Похоже, что оптимизация выполняется на AUC-ROC, н…
0 ответов

Рассчитать точность и вызвать для карты вероятности сегментации

Результатом моего CNN является карта вероятности изображения со значениями с плавающей запятой для каждого пикселя в интервале [0,1]. Основная истина - либо 0, либо 1. Поскольку результат - это карта вероятностей с более чем 2 значениями, а не тольк…
0 ответов

Как оценить метрику коэффициента подобия Жакара строки с помощью Precision-отзыва

Меня интересует интеллектуальный анализ текста, поэтому в последнее время я использую коэффициент подобия jaccard с Shingling для измерения сходства между входной информацией (например, Actimel Strawberry Yogurt Drink) и тысячами записей в наборе да…
01 авг '17 в 13:04
1 ответ

Отзыв и точность для мультиклассовой кластеризации

У меня есть трудности, чтобы понять, как измерить точность и вспомнить для мультиклассовой кластеризации. Вот пример с 9 элементами: учитывая следующую основную истину: A,B,C,D E,F,G H,I и следующая наблюдаемая кластеризация: A,B,C D E,F,G,H,I Как р…
0 ответов

Напомним, точность Multiclass модель

Я хочу вычислить точность отзыва в контексте мультикласса: def GetDocument(link): dataframe = pd.read_csv(link, encoding = "ISO-8859-1", sep = ',') return dataframe Y_test = GetDocument('lstm_res.csv') y_score = GetDocument('cnn_res.csv') from sklea…
1 ответ

Как интерпретировать эту кривую ROC AUC треугольной формы?

У меня есть более 10 функций и дюжина тысяч случаев для обучения логистической регрессии для классификации расы людей. Первый пример - французский против не французского, а второй - английский против не английского. Результаты приведены ниже: //////…
1 ответ

Рассчитать точность и вызвать на основе значений в двух столбцах кадра данных Python Pandas?

У меня есть датафрейм в следующем формате: Column 1 (Expected Output) | Column 2 (Actual Output) [2,10,5,266,8] | [7,2,9,266] [4,89,34,453] | [4,22,34,453] Я хотел бы найти количество элементов в фактическом входе, которые ожидались. Например, для с…
11 апр '18 в 13:46
0 ответов

Сравнение двух карт для расчета точности и отзыва для NER

Я пытаюсь вычислить точность и вспомнить для нашего распознавателя именованных сущностей, сравнивая наш вывод с выводом золотого набора. annotationMap - это карта набора золота, а myMap - это вывод моего NER. Чтобы дать вам представление, карты соде…
0 ответов

UndefinedMetricWarning: Напоминание и F-оценка являются плохо определенными и устанавливаются на 0,0 в метках без истинных образцов. 'вспоминать', 'верно', среднее значение, warn_for)

Когда я использую следующий код для расчета precision_recall_fscore_support для одного класса (только 1 s) import numpy as np from sklearn.metrics import precision_recall_fscore_support #make arrays ytrue = np.array(['1', '1', '1', '1', '1','1','1',…
1 ответ

Пользовательский показатель отзыва Keras на основе прогнозируемых значений

Я хотел бы реализовать пользовательскую метрику в керасах, которая вычисляет отзыв, предполагая, что верхний k% наиболее вероятен y_pred_probsэто правда. В numpy Я бы сделал это следующим образом. Сортировка y_preds_probs. Затем возьмите значение на…
16 авг '17 в 18:16
1 ответ

Различия в расчетах точности NB / Напомним AVG / общее количество баллов

Я провожу анализ классификации текста, и я запустил классификаторы на основе NB, которые дали следующие результаты: Classification Report: precision recall f1-score support 0 0.00 0.00 0.00 2 1 0.67 1.00 0.80 4 avg / total 0.44 0.67 0.53 6 Classific…
04 июн '16 в 06:10
1 ответ

Вычисление отзыва и точность для оценки системы CBIR

Я реализовал CBIR с SIFT в сочетании с другими алгоритмами, основанными на функциях (с OpenCV и Python3), теперь я должен оценить, как работает их комбинация (то есть SIFT/SURF, ORB/BRISK...). Я обнаружил, что могу использовать Precision |TP| / (|TP…
1 ответ

Есть ли способ написать окончательные веса (после всех завершенных эпох), используя pybrain?

Я написал программу для обучения моей сети с использованием Pybrain. У меня есть 104 входа и 7 выходов в каждой строке файла поезда. Я создал один скрытый слой длиной 50. Сеть написана в XML-файле. Но я не знаю, как записать окончательные веса и сме…
1 ответ

Как объяснить замену передискретизации исключительно хорошими или идеальными результатами?

У меня есть чрезвычайно несбалансированные данные (100:1), где 1 часть - это мой заинтересованный (меньшинство) класс. Я слышал о том, что передискретизация (среди прочих методов) является способом "обработки" несбалансированных данных. Итак, я сдел…
0 ответов

Как точность и отзыв работает в этой ситуации?

Рассмотрим следующий текст, который был аннотирован вручную с использованием аннотации в стиле IO для людей (PER), местоположений (LOC) и организаций (ORG). Чикаго / мэр LOC / O Rahm / PER Emanuel / PER, а / о бывший /O White/ORG House/ помощник ORG…
02 дек '17 в 16:11