Как точность и отзыв работает в этой ситуации?
Рассмотрим следующий текст, который был аннотирован вручную с использованием аннотации в стиле IO для людей (PER), местоположений (LOC) и организаций (ORG).
Чикаго / мэр LOC / O Rahm / PER Emanuel / PER, а / о бывший /O White/ORG House/ помощник ORG / O к / O президенты США / LOC / O Barack / PER Obama / PER и / O Bill / PER Clinton / PER, в / O пятница / O присоединился / O / O Ready / O For / O Hillary / PER группа / O, которая / O / побуждает / O бывший /O US/LOC секретарь / O / O State / O Хиллари / PER Клинтон / PER до / O запустить / O для / O президент / O в /O 2016/O.
Рассмотрим следующие назначения функций f(FEATURES,LABEL), которые указывают на назначение LABEL при наблюдении за FEATURE, где w - текущий токен, а w-1 - предыдущий токен.
f1(isCapitalized(w), PER)
f2(label(w-1) = PER, PER)
f3(isCapitalized(w), LOC)
f4(lemma(w-1) = "president" OR "mayor", PER)
Основываясь на наблюдаемых данных, вычислите точность и вызов для каждой из указанных выше функций, предполагая, что каждая из них используется отдельно для назначения меток, и каждая начинается с текста без метки.
Как мне рассчитать точность / отзыв в этой ситуации? Должен ли я, например, рассматривать Рам Эмануэля как одну из истинно положительных черт? Или каждый жетон является истинно положительной чертой? Или каждый маркер является ложноположительным, поскольку Рам Эмануэль на самом деле является единственной истинно положительной чертой?