77 Гига данных загружаются в Google.colab
У меня есть файл tar.gz, который содержит 77 гигабайт данных, и я пытаюсь загрузить его в свой Google.colab. Но я получаю
"Runtime умер"
ошибка, а затем он автоматически перезапускается. Пожалуйста, кто-нибудь может помочь?
1 ответ
Google colab предназначен только для исследовательских или образовательных целей, а не для длительного обучения. Он имеет ограничения, наиболее важными из которых являются память. Если вы запускаете:
!df
Вы обнаружите, что объем памяти, выделенный для времени выполнения, составляет около 45-50 ГБ (точнее, 47 ГБ), вы пытаетесь загрузить 77 ГБ, не ожидаете ли вы, что время выполнения умрет?
Если вы хотите использовать, попробуйте разбить ваши данные на мелкие части и потренироваться в них, удалить и перезагрузить с g-drive и повторить.
Смотрите этот ответ для получения дополнительной информации об оборудовании во время выполнения