span_tokenize дает объект генератора в качестве вывода

Я написал простой фрагмент кода, чтобы увидеть, как именно работает функция span_tokenize. Документацию по этому вопросу можно найти здесь: http://www.nltk.org/api/nltk.tokenize.html
Вот мой кусок кода

import nltk
from nltk.tokenize.api import StringTokenizer
sample = StringTokenizer()
sample.span_tokenize("Hulk is Boss")

Вывод следующий:

<generator object StringTokenizer.span_tokenize at 0x113a7b258>

Я не могу понять, почему я получаю объект генератора в качестве вывода, когда ожидаемый вывод является кортежем (int, int), как это видно из документации nltk

Сдвиг в правильном направлении ценится!!

0 ответов

Другие вопросы по тегам