Контрольные точки TensorFlow для онлайн-обучения
Я пытаюсь создать адаптируемую систему распознавания речи на основе Mozilla DeepSpeech (которая является реализацией TensorFlow статьи DeepSpeech)
Идея в том, что
- Мы предварительно подготовим модель под определенный голос. Затем сохраните модель + создайте контрольную точку.
- Сохраненная модель используется для транскрибирования речи в текст.
- Если пользователь замечает, что что-то неправильно расшифровано, он может дать отзыв о том, каким должен быть правильный текст для только что записанного голоса.
- Это формирует новый образец для обучения. Модель восстанавливается до предыдущей контрольной точки, а затем обучается на новом образце. (Мы также использовали бы некоторые методы увеличения данных, чтобы увеличить количество выборок)
- Теперь полученная модель должна быть лучше адаптирована к голосу пользователя / произношению
- Повторите с шага 3, если есть неправильная транскрипция
Это правильный способ использования контрольных точек? Я имею в виду, что каждый раз, когда я тренируюсь на новом образце, я возвращаюсь к последней контрольной точке и заменяю полные тренировочные данные новым образцом.
Мы ценим любые предложения!
Заранее спасибо!