Контролируйте частоту и содержимое журнала при использовании wandb с HuggingFace

Question

Я использую свой код HuggingFace. Я хочу записать потери и другие показатели. Теперь у меня два вопроса

• Как решить, когда регистрировать убыток? Это решено logging_steps в TrainingArguments(...)？

      training_args = TrainingArguments(output_dir="test", 
                                  learning_rate=lr,
                                  num_train_epochs=n_epoch,
                                  seed=seed,
                                  per_device_train_batch_size=2,
                                  per_device_eval_batch_size=2,
                                  logging_strategy="steps",
                                  logging_steps=5,
                                  report_to="wandb")

• Как мне убедиться wandbрегистрировать другие метрики (например, добавляя метрики валидации после каждой эпохи)? Это происходит автоматически?

Answer 1

Правильно, это продиктовано on_logсобытие из трейнера , вы можете увидеть его здесь, в WandbCallback

Ваши показатели валидации должны автоматически регистрироваться в W&B каждый раз, когда вы проводите валидацию. Как часто тренер проводит оценку, зависит от того, какие настройки используются для evaluation_strategy (и потенциально eval_steps если evaluation_strategy == "steps")