Извлечение и ранжирование ключевых слов из короткого текста

Question

Я работаю над проектом по извлечению ключевого слова из коротких текстов (3-4 предложения). С использованием spaCy Библиотека Я извлекаю фразы и NER и использую их как ключевые слова. Тем не менее, я хотел бы отсортировать их по значимости по сравнению с исходным текстом.

Я попробовал стандартные информационно-поисковые подходы, такие как tfidfи даже пара алгоритмов на основе графов, но с таким коротким текстом, результаты были не такими хорошими.

Я думал, что, возможно, использование NN с механизмом внимания может помочь мне ранжировать эти ключевые слова. Есть ли способ использовать предварительно обученные модели, которые поставляются с spaCy, для какого-то ранжирования?

Answer 1

Как насчет чего-то вроде максимальной предельной релевантности? http://www.cs.cmu.edu/~jgc/publication/The_Use_MMR_Diversity_Based_LTMIR_1998.pdf