Линейный дискриминантный анализ против наивного байесовского
Каковы преимущества и недостатки LDA против Наивного Байеса с точки зрения классификации машинного обучения?
Я знаю, что некоторые из различий, таких как Наивный Байес, предполагают, что переменные являются независимыми, в то время как LDA предполагает использование гауссовых моделей условной плотности классов, но я не понимаю, когда использовать LDA, а когда использовать NB, в зависимости от ситуации?
1 ответ
Оба метода довольно просты, поэтому трудно сказать, какой из них будет работать лучше. Часто быстрее попробовать оба и вычислить точность теста. Но вот список характеристик, которые обычно указывают, что определенный метод с меньшей вероятностью даст хорошие результаты. Все сводится к данным.
Наивный байесовский
Первым недостатком наивного байесовского классификатора является предположение о независимости признаков. На практике данные являются многомерными, и различные особенности действительно коррелируют. Из-за этого результат может быть довольно плохим, но не всегда значительным. Если вы точно знаете, что функции зависят (например, пиксели изображения), не ожидайте, что наивный байесовский эффект покажет.
Другая проблема - дефицит данных. Для любого возможного значения признака вероятность оценивается с помощью частого подхода. Это может привести к тому, что вероятности будут близки к 0 или 1, что, в свою очередь, приводит к численной нестабильности и худшим результатам.
Третья проблема возникает для непрерывных функций. Наивный байесовский классификатор работает только с категориальными переменными, поэтому нужно преобразовывать непрерывные функции в дискретные, в результате чего выбрасывается много информации. Если в данных есть непрерывная переменная, это сильный знак против наивного Байеса.
Линейный Дискриминантный Анализ
LDA не работает, если классы не сбалансированы, т.е. количество объектов в разных классах сильно различается. Решение состоит в том, чтобы получить больше данных, что может быть довольно простым или почти невозможным, в зависимости от задачи.
Еще один недостаток LDA заключается в том, что он не применим для нелинейных задач, например, для разделения облаков в форме пончиков, но в пространствах с большими размерами трудно сразу его обнаружить. Обычно вы понимаете это после того, как видите, что LDA не работает, но если известно, что данные очень нелинейные, это сильный знак против LDA.
Кроме того, LDA может быть чувствительным к переоснащению и нуждается в тщательной проверке / тестировании.