Путаница в точности кривой возврата и средней точности

Question

Я читаю много о кривых Precision-Recall, чтобы оценить мою систему поиска изображений. В частности, я читаю эту статью об экстракторах функций в VLFeat и страницу википедии о точном отзыве.

Я понимаю, что эта кривая полезна для оценки производительности нашей системы по количеству найденных элементов. Таким образом, мы многократно вычисляем точность-возврат, извлекая верхний элемент, затем верхний 2, верхний 3 и так далее... но мой вопрос: когда мы остановимся?

Моя интуиция такова: мы останавливаемся, когда наш список найденных элементов имеет отзыв, равный 1, поэтому мы извлекаем все соответствующие элементы (т. Е. Нет ложных негативов, только истинные позитивы).

Тот же вопрос касается средней точности: сколько элементов должно присутствовать в полученном результате для его вычисления? Если моя предыдущая интуиция верна, то нам просто нужно выяснить, какой наименьший из списков является 1-м отзывом, и использовать его для вычисления AP.

Интересно, почему все библиотеки для вычисления пр кривой не показывают, как это реализовано?

Answer 1

Информационно-поисковая система с отзывом 1 означает совершенную систему, которая не представляется возможной на практике! Кривые Precision-Recall хороши, когда вам нужно сравнить две или более системы поиска информации. Речь не идет об остановке, когда отзыв или точность достигает некоторого значения. Precision-Recall кривая показывает пары значений отзыва и точности в каждой точке (рассмотрим 3 или 5 лучших документов). Вы можете нарисовать кривую до любой разумной точки.

Кривые, близкие к идеальным Precision-Recall Кривые имеют лучший уровень производительности, чем те, которые закрываются к базовой линии. Другими словами, кривая выше другой кривой имеет лучший уровень производительности. Два Precision-Recall Кривые представляют уровни производительности двух ИК-систем: A и B. Система A явно превосходит систему B согласно следующему рисунку.

Помните: Precision-Recall Кривая не только используется для оценки ИК-систем. С его помощью можно показать, насколько хорош ваш классификатор! Например, вы можете вычислить точность, вызвать задачу двоичной классификации и построить график Precision-Recall Кривая, которая может дать вам хорошую оценку производительности вашего классификатора.

Например:

Я бы посоветовал вам посмотреть этот урок от Coursera. Я верю, что ваша идея станет более ясной Precision-Recall кривая.