DBN: неконтролируемая предварительная подготовка дает плохую производительность
Я использую сети глубокого убеждения для проблемы классификации. Сначала я делаю неконтролируемую предварительную подготовку, а затем контролируемую подготовку. Проблема, кажется, если я использую предварительную подготовку с 2-3 эпохами, то точность модели составляет около 90%. Но если я увеличу предварительную подготовку до 10-20 эпох, точность модели упадет до 30%.
Я видел в других экспериментах, что люди используют 50-100 эпох предварительной подготовки, а предварительная подготовка должна повысить точность модели. Я не понимаю, почему предварительное обучение дает плохой результат в моем случае? Я выполнил тонкую настройку гиперпараметра и всегда снижал производительность, если периоды предварительной подготовки превышают 5. Некоторое объяснение было бы очень полезно.