Роберта заново настраивает точно настроенную модель для другой задачи
У меня есть тонко настроенная модель xlm-roberta-base для задачи двоичной классификации, как показано ниже:
model = XLMRobertaForSequenceClassification.from_pretrained( "xlm-roberta-base", num_labels=2, )
Я хочу повторно обучить модель с помощью maskedlm, где и ввод, и метка являются предложениями, а затем снова обучить ее для задачи двоичной классификации, но я не знаю, возможно ли это, и если это возможно, каков синтаксис для этого. Прямо сейчас я не могу загрузить свою классификацию XLMRobertaForSequenceClassification в модель maskedLM.
model = RobertaForMaskedLM.from_pretrained("xlm-roberta-base") device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print("device is ", device) model.load_state_dict(torch.load('fine_tuned_model.pt', map_location=torch.device('cpu')))
Любая помощь приветствуется. Благодарность