Прогнозы CRFSuite проглатываются, если метка имеет вид ':'?

Question

Я использую CRFSuite для классификации последовательностей (маркировка POS). К моему удивлению, кажется, что CRFSuite не нравится метка ':' Юниты или токены, которые имеют ':', поскольку фактическая метка полностью пропущена (в выводе прогноза о пропущенном или пропущенном элементе нет никаких замечаний)

Я использую другие знаки препинания, такие как "." или ',', но они правильно используются и выводятся.

Кто-то сделал подобный опыт или теперь почему ":" пропускается?

Answer 1

С http://www.chokkan.org/software/crfsuite/tutorial.html:

CRFsuite принимает любую строку в качестве имени атрибута, если строка не содержит символа двоеточия (который используется для разделения имени атрибута и его веса).

Поэтому, если у вас есть атрибут, например, w[0]=the:0.5, имя атрибута будет "w[0]=the", а вес равен 0.5.