Цель использования специального токена в DONUT
текст в этом коде они использовали специальный токен в качествеNew special tokens: ['<s_total>', '</s_total>', '<s_date>', '</s_date>', '<s_company>', '</s_company>', '<s_address>', '</s_address>', '<s>', '</s>']и
добавление через процессор.tokenizer.add_special_tokens({"additional_special_tokens": new_special_tokens + [task_start_token] + [eos_token]})
при токенизации по умолчанию с использованием<s>\<s_total\>$6.90\</s_total\>\<s_date\>27 MAR 2018\</s_date\>\<s_company\>UNIHAKKA INTERNATIONAL SDN BHD\</s_company\>\<s_address\>12, JALAN TAMPOI 7/4,KAWASAN PARINDUSTRIAN TAMPOI,81200 JOHOR BAHRU,JOHOR\</s_address\></s>Какова цель специального токена? Это касается декодера BART или кодера BART?
Искал везде, но удовлетворительного ответа не нашел.