Как заставить мой NMT не переводить (или удалять) специальные символы?
Я использую предварительно обученную версию MarianMT.
Бывает, что мне бы хотелось, чтобы модель не переводила (или исключала определенные символы) специальные, так как они защищают меня от определенной информации, которая не должна переводиться моделью. Например, мой персонаж может быть
.
Я видел, как они использовали такие аргументы, как add_special_tokens. Но у меня это не сработало, модель продолжает пытаться транслировать этот токен или бывают случаи, когда он его удаляет.
Я попробовал использовать add_special_tokens в модели.