Точность и отзыв в fastText?

Question

Я использую fastText для классификации текста, ссылка https://github.com/facebookresearch/fastText/blob/master/tutorials/supervised-learning.md Мне было интересно, что означает точность @1 или P@5? Я сделал бинарную классификацию, но я проверил другое число, я не понимаю результаты:

haos-mbp:fastText hao$ ./fasttext test trainmodel.bin train.valid 2
N   312
P@2 0.5
R@2 1
Number of examples: 312
haos-mbp:fastText hao$ ./fasttext test trainmodel.bin train.valid 1
N   312
P@1 0.712
R@1 0.712
Number of examples: 312
haos-mbp:fastText hao$ ./fasttext test trainmodel.bin train.valid 3
N   312
P@3 0.333
R@3 1
Number of examples: 312

Answer 1

Точность - это отношение количества релевантных результатов к общему количеству результатов, полученных программой. Предположим, что механизм поиска документов извлек 100 документов, из которых 90 относятся к запросу, тогда точность равна 90 / 100 (0,9). Поскольку мы рассчитали точность с 100 результатами, это P@100.

И Recall - это соотношение релевантных результатов, полученных алгоритмом, и общего количества всех релевантных результатов. В том же примере, приведенном выше, если общее количество соответствующих документов равно 110, то отзыв равен 90 / 110.

Короче говоря, отзыв помогает оценить программу поиска информации о том, насколько она завершена, с точки зрения извлечения соответствующих результатов; и точность помогает оценить, насколько точны результаты.

Пожалуйста, проверьте это для двоичной классификации в fasttext также, https://github.com/facebookresearch/fastText/issues/93

Answer 2

Точность - это отношение количества правильно спрогнозированных меток к количеству меток, предсказанных моделью.

Напомним - это отношение количества правильно спрогнозированных меток к количеству фактических меток из набора данных проверки.

Например: фактические метки для входных данных в наборе данных проверки: A, B, C, F, G

Предсказанные метки для ввода из модели: A, B, C, D

Правильно предсказанные ярлыки: A, B, C

Точность: 3 / 4 знак равно 0.75

Отзыв: 3 / 5 знак равно 0.6