NeMo Conformer-CTC многократно предсказывает одно и то же слово при тонкой настройке
Я использую NeMo Conformer-CTC small в наборе данных LibriSpeech (чистое подмножество, около 29K входов, 90% используются для обучения и 10% для тестирования). Я использую Pytorch Lightning.
Когда я пытаюсь тренироваться, модель выучивает 1 или 2 предложения за 50 эпох и застревает с потерей 60 с чем-то (я тренировал ее также 200 эпох, и она не сдвинулась с места). Но когда я пытаюсь точно настроить его, используя предварительно обученную модель из набора инструментов, он правильно прогнозирует на проверке работоспособности, а затем, когда он начинает обучение, он предсказывает одно и то же слово или пару слов несколько раз, и потеря продолжает увеличиваться, пока не достигнет 3e. +07 и становится нан.
У меня был тот же результат после изменения скорости обучения и использования другого набора данных (VCTK). Я попытался сделать то же самое с другой моделью (кварцевой сетью), и она работала нормально.
Кто-нибудь знает, что может происходить?
Спасибо!