Как понять скрипт conlleval.perl для оценки тегов?

Question

Я всегда не знаю, как оценить задачу для маркировки, включая маркировку POS или любую другую последовательность тегов. Я особенно не знаю, как рассчитать оценку точности, отзыва и F1 этих задач. Затем я обнаружил, что есть скрипт с именем conlleval.perl, и мы можем напрямую использовать его для оценки. Но я не знаю языка Perl и все еще путаю, как P, R, F1 вычисляются в задачах тегирования. Кто-нибудь может мне сказать?

Answer 1

В книге " Разъясненный язык" есть простое определение : системы извлечения семантической информации из речи (Гохан Тур, Ренато де Мори), глава 3.1.5 Метрики оценки:

Точность = количество опорных интервалов, правильно обнаруженных SLU / количество полных интервалов, обнаруженных SLU

Напомним = количество контрольных интервалов, правильно определенных SLU / общее количество контрольных интервалов

F1 = 2 x Точность x Напомним / (Precision + Recall)

Примечание: для общих показателей Conlleval использует микро-усреднение.