Openai Universe-стартер-агент не тренируется
Я пытался запустить пример Openai-юниверса агента Openai, найденный здесь. Однако при использовании экземпляра m4.16xlarge в AWS с 32 работниками результат обучения агента не улучшается через 0,6 часа (более 30 минут), пока он заявил, что "агент может решить ту же среду за 10 минут" на странице GitHub.
Прогресс отслеживался через TensorBoard. Обратите внимание, что пример, приведенный в GitHub, был показан для случая с 16 работниками, и он сходится к вознаграждению за эпизод 21 в течение 30 минут, в то время как для этого случая, с удвоенным числом работников и таким же количеством времени обучения, вознаграждение не не улучшается. Я также взглянул на журнал, и, похоже, ошибки компиляции нет. Команда, которую я использовал для запуска скрипта:
python train.py --num-workers 32 --env-id PongDeterministic-v3 --log-dir /tmp/pong
Единственное, что я нахожу немного сомнительным, это то, что при запуске скрипта была показана следующая ошибка, но она не прервалась. Ошибка гласит: "не удалось подключиться к серверу"
Кто-нибудь еще запускал стартовый агент и / или сталкивался с подобной проблемой? Если да, то как ты решил это?
Спасибо!
1 ответ
Проблема решена - понизить тензорный поток с 1.0.0 до 0.11.0 и обучить как положено!