Общий подсчет частоты слов с использованием NLTK Python
При тестировании стандартного способа написания кода для подсчета общей частоты слов в предложении (подсчет количества раз появления одного и того же слова), используя NLTK с Python, я не получаю результата, программа не выводит результат. похоже, что цикл может не работать или что-то еще. Письменный код — это один из способов, которые организация NLTK предоставляет в качестве практики для определения общего количества частот слов для документа или строки. Ниже приведен код,
import nltk
from nltk.tokenize import word_tokenize
from nltk.probability import FreqDist
x = 'bob went down the street to purchase groceries. When he was walking back, it became very hot outside. When he cameback, he drank a cold glass of water. After drinking the glass of water he felt much more cooler in temperature.'
tokens = word_tokenize(x)
fdist = FreqDist()
for word in tokens:
fdist[word.lower()]+= 1
print(fdist)
1 ответ
Он запущен, вам просто нужно распечатать
repr
из
fdist
чтобы увидеть часть его содержимого или использовать
fdist.items
или же
dict
на нем, чтобы увидеть весь контент:
>>> print(repr(fdist)) # repr
FreqDist({'.': 4, 'he': 4, 'the': 2, 'when': 2, ',': 2, 'glass': 2, 'of': 2, 'water': 2, 'bob': 1, 'went': 1, ...})
>>> fdist.items() # items
dict_items([('bob', 1), ('went', 1), ('down', 1), ('the', 2), ('street', 1), ('to', 1), ('purchase', 1), ('groceries', 1), ('.', 4), ('when', 2), ('he', 4), ('was', 1), ('walking', 1), ('back', 1), (',', 2), ('it', 1), ('became', 1), ('very', 1), ('hot', 1), ('outside', 1), ('cameback', 1), ('drank', 1), ('a', 1), ('cold', 1), ('glass', 2), ('of', 2), ('water', 2), ('after', 1), ('drinking', 1), ('felt', 1), ('much', 1), ('more', 1), ('cooler', 1), ('in', 1), ('temperature', 1)])
>>> dict(fdist) # dict
{'bob': 1, 'went': 1, 'down': 1, 'the': 2, 'street': 1, 'to': 1, 'purchase': 1, 'groceries': 1, '.': 4, 'when': 2, 'he': 4, 'was': 1, 'walking': 1, 'back': 1, ',': 2, 'it': 1, 'became': 1, 'very': 1, 'hot': 1, 'outside': 1, 'cameback': 1, 'drank': 1, 'a': 1, 'cold': 1, 'glass': 2, 'of': 2, 'water': 2, 'after': 1, 'drinking': 1, 'felt': 1, 'much': 1, 'more': 1, 'cooler': 1, 'in': 1, 'temperature': 1}