Finetune mBART для задач перед тренировкой с помощью HuggingFace

Я хотел бы доработать facebook/mbart-large-cc25 на моих данных, используя предварительные обучающие задания, в частности моделирование маскированного языка (MLM).

Как я могу это сделать в HuggingFace?

Edit: переписал вопрос для ясности

1 ответ

Поскольку вы все делаете в HuggingFace, точная настройка модели для задач предварительного обучения (при условии, что задача предварительного обучения предоставляется в Huggingface) практически одинакова для большинства моделей. На каких задачах вас интересует тонкая настройка mBART?

Hugginface предоставляет обширную документацию для нескольких задач тонкой настройки. Например, приведенные ниже ссылки помогут вам точно настроить модели HF для языкового моделирования, MNLI, SQuAD и т. Д. Https://huggingface.co/transformers/v2.0.0/examples.html и https://huggingface.co/transformers/training.html

Другие вопросы по тегам