Извлечение всех существительных из текстового файла с помощью nltk

Question

Есть ли более эффективный способ сделать это? Мой код читает текстовый файл и извлекает все существительные.

import nltk

File = open(fileName) #open file
lines = File.read() #read all lines
sentences = nltk.sent_tokenize(lines) #tokenize sentences
nouns = [] #empty to array to hold all nouns

for sentence in sentences:
     for word,pos in nltk.pos_tag(nltk.word_tokenize(str(sentence))):
         if (pos == 'NN' or pos == 'NNP' or pos == 'NNS' or pos == 'NNPS'):
             nouns.append(word)

Как мне уменьшить временную сложность этого кода? Есть ли способ избежать использования вложенных циклов for?

Заранее спасибо!

Answer 1

Если вы открыты для других вариантов, кроме NLTK, проверять, выписываться TextBlob, Он легко извлекает все существительные и словосочетания:

>>> from textblob import TextBlob
>>> txt = """Natural language processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the inter
actions between computers and human (natural) languages."""
>>> blob = TextBlob(txt)
>>> print(blob.noun_phrases)
[u'natural language processing', 'nlp', u'computer science', u'artificial intelligence', u'computational linguistics']

Answer 2

import nltk

lines = 'lines is some string of words'
# function to test if something is a noun
is_noun = lambda pos: pos[:2] == 'NN'
# do the nlp stuff
tokenized = nltk.word_tokenize(lines)
nouns = [word for (word, pos) in nltk.pos_tag(tokenized) if is_noun(pos)] 

print nouns
>>> ['lines', 'string', 'words']

Полезный совет: часто случается, что понимание списка является более быстрым методом построения списка, чем добавление элементов в список с помощью метода.insert() или append() в цикле for.

Answer 3

Вы можете достичь хороших результатов, используя nltk, Textblob, SpaCy или любую из множества других библиотек. Эти библиотеки будут выполнять свою работу, но с разной степенью эффективности.

import nltk
from textblob import TextBlob
import spacy
nlp = spacy.load('en')
nlp1 = spacy.load('en_core_web_lg')

txt = """Natural language processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the interactions between computers and human (natural) languages."""

На моем Windows 10 2 ядра, 4 процессора, 8 ГБ оперативной памяти ноутбука i5 hp, в ноутбуке Jupyter я провел несколько сравнений, и вот результаты.

Для TextBlob:

%%time
print([w for (w, pos) in TextBlob(txt).pos_tags if pos[0] == 'N'])

И вывод

>>> ['language', 'processing', 'NLP', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
    Wall time: 8.01 ms #average over 20 iterations

Для НЛТК:

%%time
print([word for (word, pos) in nltk.pos_tag(nltk.word_tokenize(txt)) if pos[0] == 'N'])

И вывод

>>> ['language', 'processing', 'NLP', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
    Wall time: 7.09 ms #average over 20 iterations

Для простора:

%%time
print([ent.text for ent in nlp(txt) if ent.pos_ == 'NOUN'])

И вывод

>>> ['language', 'processing', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
    Wall time: 30.19 ms #average over 20 iterations

Похоже на то nltk а также TextBlob являются достаточно быстрыми, и этого следовало ожидать, так как ничего больше не храните во входном тексте, txt, Spacy намного медленнее. Еще кое-что. SpaCy пропустил существительное NLP в то время как nltk а также TextBlob понял. Я бы застрелился nltk или же TextBlob если есть что-то еще, я хочу извлечь из ввода txt,

Проверьте быстрый старт в spacy здесь
Проверьте некоторые основы о TextBlob здесь
Проверять, выписываться nltk Как здесь

Answer 4

import nltk
lines = 'lines is some string of words'
tokenized = nltk.word_tokenize(lines)
nouns = [word for (word, pos) in nltk.pos_tag(tokenized) if(pos[:2] == 'NN')]
print (nouns)

Просто упростил abit more.

Answer 5

Ваш код не имеет избыточности: вы читаете файл один раз и посещаете каждое предложение и каждое помеченное слово ровно один раз. Независимо от того, как вы пишете свой код (например, используя понимания), вы будете только скрывать вложенные циклы, не пропуская какую-либо обработку.

Единственный потенциал для улучшения заключается в его сложности пространства: вместо того, чтобы читать весь файл сразу, вы можете читать его с приращениями. Но поскольку вам нужно обрабатывать целое предложение за раз, это не так просто, как чтение и обработка по одной строке за раз; поэтому я не стал бы беспокоиться, если бы ваши файлы не были целыми гигабайтами; для коротких файлов это не будет иметь никакого значения.

Короче говоря, ваши петли в порядке. В вашем коде есть одна или две вещи, которые вы можете очистить (например, if пункт, который соответствует POS-тегам), но ничего не изменит в плане эффективности.

Answer 6

Я не эксперт по НЛП, но я думаю, что вы уже достаточно близки, и, вероятно, здесь нет способа улучшить сложность квадратичного времени в этих внешних циклах.

Последние версии NLTK имеют встроенную функцию, которая делает то, что вы делаете вручную, nltk.tag.pos_tag_sents, и она также возвращает список списков помеченных слов.

Answer 7

Если вы получите пункт "Ресурс не найден". Используйте загрузчик NLTK, чтобы получить ресурс: ошибка

просто делать

import nltk
nltk.download('punkt')