Мой Google Colab PRO отключается во время тренировки - как сохранить и возобновить тренировку
Я провожу обучение с использованием OpenCV AI Kit. Вот ссылка . Я использую ПРО-версию Google Colab. Но теперь он будет работать до 17500 эпох, а затем отключится, и все мои файлы и прогресс будут потеряны. Это означает, что я должен снова начать тренировку и уменьшить количество эпох, что не идеально.
Я запускал этот конкретный Colab на меньшем наборе данных, и он отлично работал. Но теперь на более крупном наборе данных я захочу возобновить обучение, если среда выполнения полностью отключится и, в свою очередь, прервет мой прогресс в обучении. У меня также есть плагин Chrome, вызывающий Collab, который поддерживает работу, и я реализовал код, который гарантирует, что в моем Collab есть активность. Но через определенное количество часов весь мой прогресс теряется. Ив также проверил связанные сообщения по этой теме, которые не решили мою проблему.
ОЗУ и дисковое пространство находятся на низком уровне, поэтому не может быть нехватки памяти или дискового пространства ... У меня заканчиваются идеи.