Обучение обученной модели seq2seq дополнительным данным обучения

Question

Я обучил модель seq2seq с 1М сэмплами и сохранил последнюю контрольную точку. Теперь у меня есть несколько дополнительных обучающих данных из 50 тыс. Пар предложений, которых не было в предыдущих обучающих данных. Как я могу адаптировать текущую модель к этим новым данным, не начиная обучение с нуля?

Answer 1

Вам не нужно повторно запускать инициализацию всей сети. Вы можете запустить дополнительное обучение.

Обучение по заранее обученным параметрам

Другой вариант использования - использовать базовую модель и обучать ее новым возможностям обучения (в частности, методам оптимизации и скорости обучения). С помощью -train_from без -continue начнется новое обучение с параметрами, инициализированными из предварительно обученной модели.

Не забудьте токенизировать ваш корпус 50 КБ так же, как вы использовали предыдущий.

Кроме того, вам не нужно использовать один и тот же словарь, начиная с OpenNMT 0.9. Смотрите раздел Обновление словарей и используйте соответствующее значение с -update_vocab вариант.