Какова точность nltk pos_tagger?
Я пишу диссертацию и использую nltk.pos_tagger в своей работе. Я не могу найти никакой информации о том, какова точность этого алгоритма. Кто-нибудь знает, где я могу найти такую информацию?
1 ответ
Решение
NLTK
почтовый тег по умолчанию pos_tag
является тегом MaxEnt, см. строку 82 на https://github.com/nltk/nltk/blob/develop/nltk/tag/__init__.py
from nltk.corpus import brown
from nltk.data import load
sents = brown.tagged_sents()
# test on last 10% of brown corpus.
numtest = len(sents) / 10
testsents = sents[numtest:]
_POS_TAGGER = 'taggers/maxent_treebank_pos_tagger/english.pickle'
tagger = load(_POS_TAGGER)
print tagger.evaluate(testsents)
[из]: