span_tokenize дает объект генератора в качестве вывода
Я написал простой фрагмент кода, чтобы увидеть, как именно работает функция span_tokenize. Документацию по этому вопросу можно найти здесь: http://www.nltk.org/api/nltk.tokenize.html
Вот мой кусок кода
import nltk
from nltk.tokenize.api import StringTokenizer
sample = StringTokenizer()
sample.span_tokenize("Hulk is Boss")
Вывод следующий:
<generator object StringTokenizer.span_tokenize at 0x113a7b258>
Я не могу понять, почему я получаю объект генератора в качестве вывода, когда ожидаемый вывод является кортежем (int, int), как это видно из документации nltk
Сдвиг в правильном направлении ценится!!