Бесконечные load_files в Google Colap

Question

Я использую python3 в Google Colab, а метод load_files из sklearn.datasets работает бесконечно.

На Google Colab Notebook

!pwd
/content

!ls 
cat_dog ...

load_files("/content/cat_dog/Colab Notebooks/dataset/training_set")
infinite load

У меня есть набор данных на виртуальной машине с 9000 изображений. Если я выполняю load_files ("путь") на моей реальной машине, это занимает несколько секунд.

Answer 1

Единственное место, где вы можете записать свои локальные файлы в Colab - это / tmp. Желательно подготовить все форматирование данных до того, как вы отправите данные в Colab и будете работать со всеми данными в памяти.

Различные способы работы с файловой системой.

https://colab.research.google.com/notebook

# Download the file.
!gsutil cp gs://{bucket_name}/to_upload.txt /tmp/gsutil_download.txt

# Print the result to make sure the transfer worked.
!cat /tmp/gsutil_download.txt

Надеюсь, поможет.