Не удается найти некоторые параметры fairseq в документации

Question

Я использую fairseq (версия: 1.0.0a0+14c5bd0) для точной настройки модели по этой ссылке . Однако используется множество параметров, которые я не могу найти ни в документации, ни при запуске fairseq-train --help. Примеры включают:

      --warmup-updates
--encoder-normalize-before
--label-smoothing

Заменены ли они какими-то другими параметрами?

Answer 1

Когда вы обучаете свои модели, вы можете вызывать общие параметры обучения (задокументированные в справке CLI ) или параметры, специфичные для компонента. Последнее часто приходится искать с помощью строки поиска в левом верхнем углу сайта документации .

Что касается конкретных, которые вы выделили, некоторые из них задокументированы с их компонентами в документации:

• --warmup-updatesявляется атрибутом планировщика скорости обучения (doc)
• --encoder-normalize-beforeявляется параметром модели Transformer (doc)

А некоторые задокументированы только в коде (если вообще):

• --label-smoothing— параметр кросс-энтропийных потерь (кода) , сглаженных по меткам.