Не удается найти некоторые параметры fairseq в документации
Я использую fairseq (версия: 1.0.0a0+14c5bd0) для точной настройки модели по этой ссылке . Однако используется множество параметров, которые я не могу найти ни в документации, ни при запуске
fairseq-train --help
. Примеры включают:
--warmup-updates
--encoder-normalize-before
--label-smoothing
Заменены ли они какими-то другими параметрами?
1 ответ
Когда вы обучаете свои модели, вы можете вызывать общие параметры обучения (задокументированные в справке CLI ) или параметры, специфичные для компонента. Последнее часто приходится искать с помощью строки поиска в левом верхнем углу сайта документации .
Что касается конкретных, которые вы выделили, некоторые из них задокументированы с их компонентами в документации:
-
--warmup-updates
является атрибутом планировщика скорости обучения (doc) -
--encoder-normalize-before
является параметром модели Transformer (doc)
А некоторые задокументированы только в коде (если вообще):
-
--label-smoothing
— параметр кросс-энтропийных потерь (кода) , сглаженных по меткам.