Заменить личное местоимение предыдущим упомянутым человеком (шумный coref)

Я хочу сделать такое шумное решение, чтобы данное местоимение было заменено предыдущим (ближайшим) человеком.

Например:

Alex is looking at buying a U.K. startup for $1 billion. He is very confident that this is going to happen. Sussan is also in the same situation. However, she has lost hope.

вывод:

Alex is looking at buying a U.K. startup for $1 billion. Alex is very confident that this is going to happen. Sussan is also in the same situation. However, Susan has lost hope.

Другой пример,

Peter is a friend of Gates. But Gates does not like him.

В этом случае вывод будет:

Peter is a friend of Gates. But Gates does not like Gates.

Да! Это очень шумно.

Использование простора: я извлек Person используя NER, но как я могу заменить местоимения соответствующим образом?

Код:

import spacy
nlp = spacy.load("en_core_web_sm")
for ent in doc.ents:
  if ent.label_ == 'PERSON':
    print(ent.text, ent.label_)
Источник

2 ответа

Решение

Я написал функцию, которая работает для ваших двух примеров:

Рассмотрите возможность использования более крупной модели, например en_core_web_lg для более точной разметки.

import spacy
from string import punctuation

nlp = spacy.load("en_core_web_lg")

def pronoun_coref(text):
    doc = nlp(text)
    pronouns = [(tok, tok.i) for tok in doc if (tok.tag_ == "PRP")]
    names = [(ent.text, ent[0].i) for ent in doc.ents if ent.label_ == 'PERSON']
    doc = [tok.text_with_ws for tok in doc]
    for p in pronouns:
        replace = max(filter(lambda x: x[1] < p[1], names),
                      key=lambda x: x[1], default=False)
        if replace:
            replace = replace[0]
            if doc[p[1] - 1] in punctuation:
                replace = ' ' + replace
            if doc[p[1] + 1] not in punctuation:
                replace = replace + ' '
            doc[p[1]] = replace
    doc = ''.join(doc)
    return doc
Источник

Для разрешения кореференции существует специальная библиотека neuralcoref. См. Минимальный воспроизводимый пример ниже:

import spacy
import neuralcoref

nlp = spacy.load('en_core_web_sm')
neuralcoref.add_to_pipe(nlp)
doc = nlp(
'''Alex is looking at buying a U.K. startup for $1 billion. 
He is very confident that this is going to happen. 
Sussan is also in the same situation. 
However, she has lost hope.
Peter is a friend of Gates. But Gates does not like him.
          ''')

print(doc._.coref_resolved)

Alex is looking at buying a U.K. startup for $1 billion. 
Alex is very confident that this is going to happen. 
Sussan is also in the same situation. 
However, Sussan has lost hope.
Peter is a friend of Gates. But Gates does not like Peter.

Обратите внимание: у вас могут возникнуть проблемы с neuralcorefесли вы установите его по пипу, так что лучше собрать его из исходников, как я обрисовал здесь

Источник
Другие вопросы по тегам