Что означает output_dir в transformers.TrainingArguments?

Question

В документации сайта huggingface написано: «Выходной каталог, в котором будут записаны прогнозы модели и контрольные точки». Я не совсем понимаю, что это значит. Нужно ли мне создавать для этого какой-нибудь файл?

Answer 1

Тренер моделей Huggingface может многое спасти. Самое главное:

• Словарь используемого токенизатора (в виде файла JSON)

• Конфигурация модели: файл JSON, в котором рассказывается, как создать экземпляр объекта модели, т. Е. Архитектуру и гиперпараметры.

• Контрольные точки модели: обучаемые параметры модели, сохраненные во время обучения.

• Кроме того, он может сохранять значения метрик, используемых во время обучения, и состояние обучения (так что обучение может быть восстановлено из того же места).

Все это хранится в файлах в output_dirкаталог. Вам не нужно создавать каталог заранее, но путь к каталогу должен существовать как минимум.