Как скрытый семантический анализ обрабатывает семантику

Question

Я прошел метод LSA. Говорят, что LSA можно использовать для семантического анализа. Но я не могу понять, как это работает в LSA. Может кто-нибудь, пожалуйста, скажите мне, как LSA обрабатывает семантику.

Answer 1

Вы знакомы с моделью векторного пространства (VSM)?

В LSA вы можете вычислять сходство документов, а также сходство типов (т. Е. Слов) так же, как и с традиционным VSM. То есть вы вычисляете косинус между двумя векторами типов или двумя векторами документов (на самом деле LSA позволяет вычислять также сходство типов документов).

Проблема с VSM заключается в том, что косинусное сходство документов, которые не разделяют ни одного слова, равно 0.

В LSA разложение по сингулярным значениям (SVD) выявляет скрытые семантические измерения, которые позволяют вычислять косинусное сходство между документами без общих слов, но с некоторыми общими характеристиками.