Кто-нибудь знает о хорошем программном обеспечении для устранения неоднозначности Word Sense?

Question

Что представляет собой современное программное обеспечение для устранения неоднозначности Word Sense (WSD)? Какие метрики определяют современное состояние и какие инструменты / пакеты с открытым исходным кодом доступны?

Answer 1

Мой список не является исчерпывающим, но, конечно, поиск в Google для большего будет лучше для ваших целей.

Для программного обеспечения вот краткий список, не забудьте в CITE соответствующие источники!

GWSD: неконтролируемое устранение неоднозначности в смысле слова на основе графа http://lit.csci.unt.edu/~rada/downloads/GWSD/GWSD.1.0.tar.gz

SenseLearner: инструмент для устранения неоднозначности смысла слов в словах http://lit.csci.unt.edu/~rada/downloads/senselearner/SenseLearner2.0.tar.gz

KYOTO UKB основанный на графике WSD http://ixa2.si.ehu.es/ukb/

pyWSD: реализация Python простых алгоритмов WSD https://github.com/alvations/pywsd

---

Задачи WSD в некотором роде также зависят от источника данных, так что вот некоторые, не забывайте их СИТЕ!!!

Помеченные данные в формате Open Mind Word Expert http://teach-computers.org/word-expert.html

Данные с тегами TWA Sense http://lit.csci.unt.edu/~rada/downloads/TWA/TWA.tar.gz

SemCor http://lit.csci.unt.edu/~rada/downloads/semcor/semcor1.6.tar.gz

---

Наконец, задачи WSD зависят от некоторой предварительной обработки, и если вы ищете современный многоязычный WSD, то вам следует попытаться найти выравниватели уровня слов, такие как

• МОИСЕЙ
• MGIZA ++
• GIZA ++
• BerkeleyAligner

Кроме того, посмотрите на предыдущие страницы Senseval/SemEval, чтобы найти то, что уже сделано, и каковы тенденции, к которым движутся будущие задачи. http://en.wikipedia.org/wiki/SemEval