Оценка невидимых образцов с использованием KPCA (Kernel PCA) для Eigenfaces
У меня есть вопрос, касающийся невидимых образцов, которые я хочу квалифицировать (лицо или нет). Используя обычный метод Eigenface (который не воспроизводит ядро, заменяющее внутренний продукт PCA), оценка выполняется путем проецирования выборки на собственные векторы из PCA на матрице наборов поездов и, наконец, проверки минимального расстояния проекции до собственных векторов по отношению к порог.
Я пролистал несколько публикаций, в которых обсуждается подход KPCA, но когда дело доходит до последнего этапа тестирования невидимых образцов, я столкнулся с крошечной, безответной проблемой:
Используя обычный PCA, среднее значение обучающего набора вычитается из тестового вектора перед проекцией на собственные векторы. Не так для KPCA. Я предполагаю, что проблема здесь в том, что нет доступа к точкам в пространстве ядра, только к расстояниям. Следовательно, у нас нет "среднего". Однако разве это не стоит обсуждать?
Спасибо за мнения и предложения, так как я думаю, что это какая-то неточность, не упомянутая до сих пор.
1 ответ
В ранней работе KPCA Scholkopf (есть обзорная статья с автором под заголовком "нелинейный компонентный анализ"), был вариант KPCA, включающий вычитание среднего значения. Это делает вещи более сложными в вычислительном отношении, и последующие алгоритмы с центрированием (такие как оценка обратного вычисления или оценка вне выборки) также становятся более сложными. Здесь сложность больше связана с вычислениями, более сложна = наиболее затратна.
Примерно в то же время работа Williams and Seeger (2001) показала, что KPCA можно вывести как конечномерное приближение к функции плотности (при ядре Гаусса или других функциях типа окна Парцена). Эта интерпретация не требует среднего смещения. Для них также есть хорошая интерпретация того, что KPCA отображает данные в гиперсферу. Среднее смещение разрушило бы эту интерпретацию. Как это обобщается на нетрадиционные ядра, которые не так связаны с плотностями, я не уверен. Эта основанная на плотности интерпретация имеет хорошие связи с оценкой плотности ортогональных рядов, а также с анализом энтропии ядра (который обеспечивает способы настройки процедуры KPCA).