Как регистрировать артефакты в wandb при использовании saimpletransformers?

Question

Я создаю модель на вопрос, используя ответапростые преобразователи . Я также хотел бы использовать wandb для отслеживания артефактов модели. Насколько я понимаю из документации wandb , для простых преобразователей существует точка взаимодействия с интеграцией, но нет упоминания об артефактах журналирования.

Я хотел бы регистрировать артефакты, сгенерированные на этапе обучения, проверки и тестирования, такие как train.json, eval.json, test.json, output / nbest_predictions_test.json и наиболее эффективная модель.

Answer 1

В настоящее время simpleTransformers не поддерживает артефакты журналирования в сценариях обучения / тестирования. Но вы можете сделать это вручную:

      import os 

with wandb.init(id=model.wandb_run_id, resume="allow", project=wandb_project) as training_run:
    for dir in sorted(os.listdir("outputs")):
        if "checkpoint" in dir:
            artifact = wandb.Artifact("model-checkpoints", type="checkpoints")
            artifact.add_dir("outputs" + "/" + dir)
            training_run.log_artifact(artifact)

Для получения дополнительной информации вы можете следить за записной книжкой W&B в README.md SimpleTransofrmer.