Обнимающие лица Pytorch-трансформеры: как инициализировать вложения с кератиновыми значениями?

Question

Я точная настройка модели Берт от huggingface. Есть ли способ вручную установить начальное вложение определенного фрагмента слова? например, имеющее начальное вложение слова "собака", равное torch.ones(768), Спасибо!

Answer 1

Вы можете установить входные вложения BertModel: get_input_embeddings ()

Вам необходимо узнать индекс части слова из словаря и можно изменить соответствующую строку в матрице вложений.