spacy-udpipe с pytextrank для извлечения ключевых слов из неанглийского текста

Я использовал pytextrank (https://github.com/DerwenAI/pytextrank/) с просторными и английскими моделями для извлечения ключевых слов - он отлично работает!

Теперь мне нужно обработать неанглийские тексты, и я нашел udpipe (https://github.com/TakeLab/spacy-udpipe), но он не работает из коробки... после

nlp = spacy_udpipe.load("sk")
tr = pytextrank.TextRank()
nlp.add_pipe(tr.PipelineComponent, name="textrank", last=True)
doc = nlp(text)

Я получаю токены с тегами POS и DEP, но в них ничего нет doc._.phrases (doc.noun_chunks также пусто) и в nlp.pipe_names просто ['textrank']

Что я должен добавить в конвейер spacy, чтобы он заработал? Я предполагаю, что pytextrank нужны noun_chunks...

Любой совет или предложение, где искать, помогут мне - спасибо!

Источник

2 ответа

Я нашел решение! Я не уверен, насколько чистnlp.Defaults.syntax_iterators = {"noun_chunks" : get_chunks}, но это работает (это зависит от того, как noun_chunks определены в syntax_iterators.py а также __init__.py в spaCy/lang/en)

import spacy_udpipe, spacy, pytextrank
from spacy.matcher import Matcher
from spacy.attrs import POS

def get_chunks(doc):
    np_label = doc.vocab.strings.add("NP")
    matcher = Matcher(nlp.vocab)
    pattern = [{POS: 'ADJ', "OP": "+"}, {POS: {"IN": ["NOUN", "PROPN"]}, "OP": "+"}]
    matcher.add("Adjective(s), (p)noun", None, pattern)
    matches = matcher(doc)

    for match_id, start, end in matches:
        yield start, end, np_label

spacy_udpipe.download("sk") # download model
nlp = spacy_udpipe.load("sk")
nlp.Defaults.syntax_iterators = {"noun_chunks" : get_chunks}  #noun_chunk replacement

tr = pytextrank.TextRank(logger=None)
nlp.add_pipe(tr.PipelineComponent, name="textrank", last=True)

text = "Wikipédia je webová encyklopédia s otvoreným obsahom, ktorú možno slobodne čítať aj upravovať. Je sponzorovaná neziskovou organizáciou Wikimedia Foundation. Má 285 nezávislých jazykových vydaní vrátane slovenského a najrozsiahlejšieho anglického. Popri článkoch encyklopedického typu obsahuje, najmä anglická encyklopédia, aj články podobajúce sa almanachu, atlasu či stránky aktuálnych udalostí. Wikipédia je jedným z najpopulárnejších zdrojov informácií na webe s približne 13 miliardami zobrazení mesačne. Jej rast je skoro exponenciálny. Wikipédii (takmer 2 milióny). Wikipédia bola spustená 15. januára 2001 ako doplnok k expertmi písanej Nupedii. So stále rastúcou popularitou sa Wikipédia stala podhubím pre sesterské projekty ako Wikislovník (Wiktionary), Wikiknihy (Wikibooks) a Wikisprávy (Wikinews). Jej články sú upravované dobrovoľníkmi vo wiki štýle, čo znamená, že články môže meniť v podstate hocikto. Wikipediáni presadzujú politiku „nestranný uhol pohľadu“. Podľa nej relevantné názory ľudí sú sumarizované bez ambície určiť objektívnu pravdu. Vzhľadom na to, že Wikipédia presadzuje otvorenú filozofiu, jej najväčším problémom je vandalizmus a nepresnosť. "
doc = nlp(text)

print("Noun chunks:")
for nc in doc.noun_chunks:
    print(nc)

print("\nKeywords:")
for phrase in doc._.phrases:
    print("{:.4f} {:5d}  {}".format(phrase.rank, phrase.count, phrase.text))
    print(phrase.chunks)
Источник

Не могли бы вы написать об этом в репозитории PyTextRank?https://github.com/DerwenAI/pytextrank/issues

Кроме того, не могли бы вы предоставить пример текста для использования (на запрошенном языке)

Мы попробуем отладить эту интеграцию.

Спасибо, что указали на это!

Пако

Источник
Другие вопросы по тегам