Использование предварительно обученных встраиваний BERT в качестве входных данных для моделей textcat в Spacy 3.0

Question

Я пытаюсь перейти на платформу тренировочного файла конфигурации Spacy 3.0, и у меня возникли проблемы с настройкой настроек в соответствии с тем, что я хотел бы сделать. Проще говоря, я хотел бы использовать одну из готовых моделей textcat (скажем, набор слов), но передать вложения слов, произведенные предварительно обученным трансформатором (например, корпусом Bert base) без какой-либо тонкой настройки. До сих пор я работал над шаблоном конфигурации texcat, представленным на веб-сайте Spacy.

Любая помощь приветствуется. При необходимости могу предоставить дополнительную информацию. Спасибо!

Answer 1

Попробуйте следующую конфигурацию. -G переключается на transformer и -o accuracy переключается на модель ансамбля textcat:

      spacy init config -p textcat -G -o accuracy config.cfg

См .: https://spacy.io/api/architectures#TextCatEnsemble