Ошибка загрузки самообучающегося токензера в BertTokenizerFast

Я обучил токенизатор следующим образом:

      tokenizer = ByteLevelBPETokenizer()
tokenizer.train(files=paths, vocab_size=20_000, min_frequency=2,
                special_tokens=["<s>","<pad>","</s>","<unk>","<mask>"])
tokenizer.save_model('bert_a_tokenizer')

Потом попробовал загрузить:

      tokenizer = BertTokenizerFast.from_pretrained("./bert_a_tokenizer", max_len=512)

Это не удается, но работает, если я использую:

      tokenizer = RobertaTokenizerFast.from_preenter code heretrained("./bert_a_tokenizer", max_len=512)

Я не совсем понимаю, что здесь происходит.

0 ответов

Другие вопросы по тегам