Можно ли увеличить лимит токенов в RoBERTa с 512?
Итак, я пробовал EmoRoBERTA для классификации эмоций, однако некоторые строки в моих данных превышают предел в 512 токенов. Есть ли способ увеличить этот лимит? Я где-то читал о настройке
max_length = 1024
но не уверен, работает ли это?
Я использую эту библиотеку -
from transformers import RobertaTokenizerFast, TFRobertaForSequenceClassification, pipeline
tokenizer = RobertaTokenizerFast.from_pretrained("arpanghoshal/EmoRoBERTa")
model = TFRobertaForSequenceClassification.from_pretrained("arpanghoshal/EmoRoBERTa")