Ошибка загрузки самообучающегося токензера в BertTokenizerFast
Я обучил токенизатор следующим образом:
tokenizer = ByteLevelBPETokenizer()
tokenizer.train(files=paths, vocab_size=20_000, min_frequency=2,
special_tokens=["<s>","<pad>","</s>","<unk>","<mask>"])
tokenizer.save_model('bert_a_tokenizer')
Потом попробовал загрузить:
tokenizer = BertTokenizerFast.from_pretrained("./bert_a_tokenizer", max_len=512)
Это не удается, но работает, если я использую:
tokenizer = RobertaTokenizerFast.from_preenter code heretrained("./bert_a_tokenizer", max_len=512)
Я не совсем понимаю, что здесь происходит.