Сравнение частот текста в документе с частотой в корпусе
Я хочу проанализировать документ на предмет таких элементов, как буквы, биграммы, слова и т. Д., И сравнить, как часто они встречаются в моем документе, с тем, как часто они встречались в большом объеме документов.
Идея состоит в том, что такие слова, как "если", "и", "the", являются общими во всех документах, но некоторые слова будут встречаться в этом документе гораздо чаще, чем это характерно для корпуса.
Это должно быть довольно стандартно. Как это называется? Делая это очевидным образом, у меня всегда были проблемы с новыми словами в моем документе, но не в бесконечно значимом рейтинге корпуса. Как это решается?
2 ответа
Скорее всего, вы уже проверили tf-idf или другие метрики из семейства okapi_bm25.
также вы можете проверить готовый набор инструментов для обработки естественного языка nltk
ОБНОВЛЕНИЕ: как и для новых слов, следует применять сглаживание: Good-Turing, Laplace и т. Д.
Он относится к линейным классификаторам, причем наивные байесовские классификаторы являются наиболее известной формой (благодаря своей удивительной простоте и надежности в решении задач классификации в реальном мире).