Наивный байесовский генератив?

Question

Я работаю над документом, который должен содержать ключевые различия между использованием наивных байесовских (генеративных) и логистических регрессионных (дискриминационных) моделей для классификации текста.

Во время моего исследования я столкнулся с этим определением для наивной байесовской модели: https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

Вероятность документа d быть в классе c вычисляется как... где p(tk|c) является условной вероятностью срока tk происходит в документе класса c...

Когда я приступил к сравнению генеративных и дискриминативных моделей, я нашел это объяснение в Stackru как принятое: в чем разница между генеративным и дискриминационным алгоритмом?

Генеративная модель изучает совместное распределение вероятностей p(x,y) и дискриминационная модель изучает условное распределение вероятностей p(y|x) - который вы должны прочитать как "вероятность у данного х".

В этот момент я запутался: наивный байесовский генератор является порождающей моделью и использует условные вероятности, но в то же время дискриминационные модели были описаны так, как будто они изучали условные вероятности, а не совместные вероятности порождающих моделей.

Может кто-нибудь пролить свет на это, пожалуйста?

Спасибо!

Answer 1

Это генеративно в том смысле, что вы не моделируете непосредственно заднюю p(y|x) а лучше вы изучаете модель совместной вероятности p(x,y) что также может быть выражено как p(x|y) * p(y) (время вероятности до), а затем с помощью правила Байеса вы пытаетесь найти наиболее вероятное y.

В этом контексте я могу порекомендовать хорошую книгу: "Дискриминационные и генеративные классификаторы: сравнение логистической регрессии и наивного Байеса" (Ng & Jordan 2004).