Есть ли способ получить несколько порядков Ngram, используя NTLK вместо получения итерации по генератору?

Мне нужны нграммы. я знаю nltk.utils.ngrams может использоваться для получения ngrams, но на практике функция ngrams возвращает объект генератора. Я всегда могу перебрать его и сохранить нграммы в списке. Но есть ли другой, более прямой способ получения этих ngram в списке без необходимости перебирать их?

3 ответа

Решение

@ Георг комментирует это в значительной степени.

In [12]: from nltk.util import ngrams

In [13]: g = ngrams([1,2,3,4,5], 3)

In [14]: list(g)
Out[14]: [(1, 2, 3), (2, 3, 4), (3, 4, 5)]

In [15]: g = ngrams([1,2,3,4,5], 3)

In [16]: map(lambda x: x, g)
Out[16]: [(1, 2, 3), (2, 3, 4), (3, 4, 5)]

Там на самом деле встроенная функция для получения нескольких порядков вызова Ngram everygrams см. https://github.com/nltk/nltk/blob/develop/nltk/util.py

>>> from nltk import everygrams
>>> sent = 'a b c'.split()
# By default, it will extract every possible order of ngrams.
>>> list(everygrams(sent))
[('a',), ('b',), ('c',), ('a', 'b'), ('b', 'c'), ('a', 'b', 'c')]
# You can set a max order or ngrams.
>>> list(everygrams(sent, max_len=2))
[('a',), ('b',), ('c',), ('a', 'b'), ('b', 'c')]
# Or specify a range.
>>> list(everygrams(sent, min_len=2, max_len=3))
[('a', 'b'), ('b', 'c'), ('a', 'b', 'c')]

Или альтернативно без nltk:

from itertools import chain

def ngrams(L, n = 2):
    orders = [n] if type(n) is int else sorted(list(n))
    return list(chain(*[zip(*[L[i:] for i in range(n)]) for n in orders]))

>>> ngrams([1,2,3,4,5], n = 3)
[(1, 2, 3), (2, 3, 4), (3, 4, 5)]
>>> ngrams([1,2,3,4,5], n = [2,3])
[(1, 2), (2, 3), (3, 4), (4, 5), (1, 2, 3), (2, 3, 4), (3, 4, 5)]
Другие вопросы по тегам