Google Colab Laboratory: OSError: [Errno 5] Ошибка ввода / вывода

Question

Я использую Google Colab Laboratory и монтирую Google Drive. Когда я получаю доступ к CSV-файлу, он получает следующую ошибку:

OSError: [Errno 5] Ошибка ввода / вывода.

Такого не было раньше.

Как я могу получить доступ к CSV-файлу, как раньше?

Я пробовал это, но не сработало:

Ошибка ввода / вывода при использовании Google Colab с Google Drive

Это произошло после проведения следующего кода.

for segment_id in tqdm(range(segment_num)):
  with h5py.File(os.path.join(INPUT_PATH, "train.h5"), "r") as f:
    train_answers.append(f['time_to_failure'][segment_id*segment_interval + SEGMENT_LENGTH])

Бар tqdm прогрессировал до 37%, и затем выдает следующую ошибку.

OSError: Невозможно открыть файл (ошибка чтения файла: время = чт. 2 мая 14:14:09 2019, имя файла = './drive/My Drive/Kaggle/LANL-Earthquake-Prediction/input/train.h5', дескриптор файла = 74, errno = 5, сообщение об ошибке = "Ошибка ввода / вывода", buf = 0x7ffc31926d00, общий размер чтения = 8, байты этого дополнительного чтения = 8, байты фактически прочитаны = 18446744073709551615, смещение = 0)

С тех пор большие файлы, такие как train.csv(9 ГБ), находящиеся на Google Диске, не могут быть прочитаны из Google Colab Laboratory. Это дает следующую ошибку.

OSError: [Errno 5] Ошибка ввода / вывода

У кого-нибудь есть такая же проблема?

Кто-нибудь знает как это решить?

Answer 1

I've encounter the same error (during too intensive testing of transfer learning). According to Google the reason may be in too many I/O operations with small files or due to shared and more intensively used resources - every reason related to usage of Google drive. Mostly after 1 day the quota should be refreshed.

You may also try another solution (for impatient users like me) - copy your resources (in my case a zipped folder data containing folders train and validation with images) as a zip file to your Google drive and then unzip it directly into Colab VM by use of:

      !unzip -qq '/content/grive/My Drive/CNN/Datafiles/data.zip'  

You can then access the data from folder /content/data/... (and say Goodbye to the I/O Error ;) )

Answer 2

Google устанавливает квоты, которые необязательно показывать при использовании Colab. Я столкнулся с той же проблемой. В основном, как только предел превышен, вы получаете ошибку ввода / вывода [Errno 5] независимо от файла или операции, которую вы выполняли.

Проблема вроде бы решена, так как я попросил увеличить квоту на хранение (всего 1 ТБ на нас). Вы получаете доступ к странице квот, посетив эту страницу и нажав квоту:https://cloud.google.com/docs/quota

Если вы не просите увеличить квоту, вам, возможно, придется подождать 7–14 дней, пока ваше использование не станет равным 0 и вы сможете использовать полную квоту.

Надеюсь, это поможет!