Каков эффект изменения шагов снижения веса и разминки в точной настройке PEGASUS?
Я настраиваю модель PEGASUS с помощью этого скрипта. В настоящее время я использую набор данных SAMSum, и я достиг точки, когда результат не улучшается.
Примеры:
Фактическое резюме
Алексис и Картер встретились сегодня вечером. Картер хотел бы встретиться снова, но Алексис занята.
Краткое изложение лучшего результата (на основе человеческой оценки)
«Картер и Алексис готовы к этому».
Второе резюме наилучшего результата (на основе человеческой оценки)
['Картер и Алексис готовы, я хочу увидеть кое-что завтра. Но']
Как видно выше, резюме не имеют одинакового значения, поэтому я хотел бы знать, поможет ли изменение снижения веса или шагов разминки достичь лучших результатов или нет? и если да, то было бы лучше увеличить или уменьшить значения значений снижения веса или шагов разминки?
ЗАМЕТКИ:
Я использую размер пакета 1, поскольку я использую colab pro, а размер mazimum GPU составляет 16280 МБ, поэтому использование большего размера пакета не позволяет использовать весь размер набора данных, что приводит к худшим результатам. Также текущие шаги разогрева - 500, и у меня есть в общей сложности 4000 шагов за 2000 эпох со спадом веса 0,01.
Я уже использовал разные комбинации и размеры для обучения / проверки / тестирования. по умолчанию было 90/5/5, но я пробовал 90/10/0, 70/15/15, 70/30/0
Лучший результат всегда получается около 500 шагов, а второй лучший результат получается с 2500 шагов в комбинациях 90/10/0, 70/15/15 и 70/30/0.
Будем очень признательны за любые дальнейшие советы по улучшению результатов и заранее благодарим вас!