wandb.wandb_agent - ОШИБКА - Обнаружено 5 неудачных запусков подряд, завершение работы

Question

При попытке настроить wandb я столкнулся со следующей ошибкой:

      wandb: WARNING Calling wandb.login() after wandb.init() has no effect.                                                                                                            
2021-07-23 19:19:32,639 - wandb.wandb_agent - INFO - Running runs: []                                                                                                             
2021-07-23 19:19:32,824 - wandb.wandb_agent - INFO - Agent received command: run                                                                                                  
2021-07-23 19:19:32,825 - wandb.wandb_agent - INFO - Agent starting run with config:                                                                                              
        lr: 0.01                                                                                                                                                                  
        optimizer: Adam                                                                                                                                                           
2021-07-23 19:19:32,826 - wandb.wandb_agent - INFO - About to run command: /usr/bin/env python  --lr=0.01 --optimizer=Adam                                                        
/home/ubuntu/anaconda3/envs/pytorch_latest_p37/bin/python: can't find '__main__' module in ''                                                                                     
2021-07-23 19:19:37,945 - wandb.wandb_agent - INFO - Running runs: ['e8ff7j11']                                                                                                   
2021-07-23 19:19:37,946 - wandb.wandb_agent - INFO - Cleaning up finished run: e8ff7j11

------4 more runs for different hyperparamters-------

2021-07-23 19:19:59,139 - wandb.wandb_agent - ERROR - Detected 5 failed runs in a row, shutting down.
2021-07-23 19:19:59,139 - wandb.wandb_agent - INFO - To change this value set WANDB_AGENT_MAX_INITIAL_FAILURES=val
wandb: Terminating and syncing runs. Press ctrl-c to kill.

Код:

base_config.py

      class base_config:
    def __init__(self):
        self.epochs = 10
        self.sweep_config = {
            'method': 'grid',
            'metric': {
              'name': 'val_F1@M',
              'goal': 'maximize'  
            },
            'parameters': {
                'lr': {
                    'values': [1e-2, 1e-3, 1e-4]
                },
                'optimizer': {
                    'values': ['Adam', 'SM3']
                },
            }
        }
        self.config_defaults = {
            'lr': 1e-2,
            'optimizer': 'Adam',
        }

train.py

      import wandb
def run(args, config):
    # wandb.log()

def run_and_collect_results(args, config):
    wandb.init(config=config['config_defaults'])
    config.update({k: v for k, v in wandb.config.items()})
    run(args, config)

if __name__ == '__main__':
    # load config from config file
    # load args
    sweep_id = wandb.sweep(config['sweep_config'], project="Pytorch-sweeps")
    wandb.agent(sweep_id, run_and_collect_results(args, config))

Я не уверен, как правильно написать agent для wandb. Текущий код заканчивается журналами вроде python --lr=0.01 --optimizer=Adam . Кажется, что имя файла отсутствует. В таком случае мне нужно будет писать в отдельный файл или использовать интерфейс командной строки? Я ожидал поведения, которое wandb.agent вызовет функцию run_and_collect_results для разных гиперпараметров.

Answer 1

Проблема в том, что wandb.agent()рекомендуется вызывать только из записных книжек Jupyter, а не из сырых скриптов Python. Рекомендуемое действие для скриптов Python - использование .yaml файл конфигурации и работает wandb agent script_id из командной строки.

Вот официальный комментарий с github W&B: https://github.com/wandb/client/issues/2282#issuecomment-860906921

Документация:https://docs.wandb.ai/guides/sweeps/quickstart

Answer 2

Я считаю, что проблема в вашем wandb.agent()вызов функции. Он должен получить функцию (только имя) в качестве аргумента, чтобы агент знал, какую функцию вызывать с разными аргументами.

Но вы проходите run_and_collect_results(args, config)

Вместо того, чтобы передавать имя функции, вы фактически вызываете функцию (после имени функции заключаются круглые скобки и аргументы) и передаете значение результата.