Можно ли использовать разные модели трансформатора для токенизатора и модели?

Question

Могу ли я использовать роберту в качестве токенизатора, а причал - для модели?

      from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained("./bert_tokenizer", max_len=512)

from transformers import BertForMaskedLM
config = BertConfig()
bert= BertForMaskedLM(config)

Answer 1

Вы не можете использовать токенизатор RoBERTa для модели BERT. Причина в том, что словари для BERT и RoBERTa различаются. Таким образом, токен отрывка слова, который присутствует в словаре RoBERTa, может отсутствовать в словаре BERT.