Когда использовать генеративные алгоритмы в машинном обучении?

Question

Предположим, у меня есть тренировочный набор из (x, y) образцов.

Чтобы применить генеративный алгоритм, скажем, гауссовский дискриминант, я должен предположить, что

p(x|y) ~ Normal(mu, sigma) за каждую возможную сигму

или мне просто нужно, если я знаю, x ~ Normal(mu, sigma) дано у?

Как я могу оценить, достаточно ли (до порога) р (x|y) следует многомерному нормальному распределению, чтобы я использовал генеративный алгоритм?

Answer 1

Это много вопросов.

Чтобы применить генеративный алгоритм, скажем, гауссовский дискриминант, я должен предположить, что

p(x|y) ~ Normal(mu, sigma) для каждой возможной сигмы

Нет, ты должен предположить, что это правда для некоторой пары мю, сигма. На практике вы не будете знать, что такое mu и sigma, поэтому вам нужно будет либо оценить их (частые, оценки максимального правдоподобия /Max A Posteriori), либо даже лучше включить неопределенность в отношении ваших оценок параметров в прогнозы (байесовская методология)).

Как я могу оценить, следует ли p (x | y) многомерному нормальному распределению?

Классически, с использованием теста на пригодность. Если размерность x больше, чем несколько, это не сработает, потому что стандартные тесты включают в себя количество элементов в ячейках, а количество корзин, которое вам нужно в больших измерениях, является астрономическим, поэтому у вас очень низкие ожидаемые значения.

Лучше сказать следующее: каковы мои варианты для моделирования (условного) распределения x? Вы можете сравнить эти параметры, используя методы сравнения моделей. Читайте о проверке и сравнении моделей.

Наконец, ваш последний пункт:

достаточно ли мне (до порога) использовать генеративный алгоритм?

Парадокс многих генеративных методов, в том числе, например, линейного дискриминантного анализа Фишера, а также наивного байесовского классификатора, заключается в том, что классификатор может работать очень хорошо, даже если модель плоха для данных. Нет особенно веской причины, почему так должно быть, но многие наблюдали, что это эмпирически верно. Работать ли это может быть проверено гораздо проще, чем предполагаемое распределение, которое очень хорошо объясняет данные: просто разбейте свои данные на обучение и тестирование и узнайте!