Загрузите локальные файлы данных в Колабораторию

Question

Загрузите локальные файлы данных в Колабораторию

Мне просто интересно, можно ли загружать локальные файлы данных (например, файлы.xlsx или.csv, которые находятся на моем диске Google) в Colab Laboratory?

48

python google-colaboratory

Источник

user8948564 16 ноя '17 в 01:25

7 ответов

Другие вопросы по тегам python google-colaboratory

user4322192 16 ноя '17 в 16:50 2017-11-16 16:50 · Answer 1 · 2017-11-16 16:50

Я был немного озадачен примером загрузки локальных файлов на первый взгляд, так как не было места для указания пути к файлу. Все, что вам нужно сделать, это скопировать и вставить рецепт, чтобы понять это, но для ясности:

from google.colab import files
uploaded = files.upload()

откроет диалоговое окно загрузки, где вы можете просмотреть и выбрать локальные файлы для загрузки.

затем

for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn])))

покажет вам ключи для доступа к тому, что вы только что загрузили.

Изменить для дополнительного уточнения: словарь uploaded будет иметь ключи выбранных имен файлов - так что если, например, вы выбираете файл my_test.txt, тогда вы получите доступ к этому файлу, используя uploaded['my_test.txt'],

user4747049 12 мар '18 в 01:05 2018-03-12 01:05 · Answer 2 · 2018-03-12 01:05

Во-первых, выполнение этой ячейки должно создать встроенную кнопку "Выбрать файлы"

from google.colab import files
uploaded = files.upload()

После выбора вашего файла (ов), uploaded будет словарь ключей (имен файлов) и значений (закодированных файловых объектов). Чтобы декодировать файлы для библиотеки, такой как Pandas, попробуйте

import pandas as pd
import io
df = pd.read_csv(io.StringIO(uploaded['filename.csv'].decode('utf-8')))

После этого ваш фрейм данных df должен быть готов к работе

user8841057 16 ноя '17 в 01:51 2017-11-16 01:51 · Answer 3 · 2017-11-16 01:51

Да, все эти сценарии поддерживаются.

Чтобы узнать, как получить доступ к локальным файлам и файлам диска, ознакомьтесь с примером блокнота ввода-вывода.

Для доступа к xls файлы, вы хотите, чтобы загрузить файл в Google Sheets. Затем вы можете использовать gspread рецепты в том же блокноте ввода / вывода.

Недавно добавленный способ загрузки локальных файлов заключается в использовании вкладки "Файлы" в правой части окна.

Оттуда вы можете загрузить локальный файл, используя кнопку "Загрузить".

(Вы также можете загрузить файлы, щелкнув их правой кнопкой мыши в дереве файлов.)

user6897603 06 янв '19 в 07:09 2019-01-06 07:09 · Answer 4 · 2019-01-06 07:09

Чтобы загрузить локальные файлы данных в Colab:

Способ 1: метод Google Диска

Загрузить файл данных из системной памяти на диск Google.
Смонтировать гугл диск в колаб
from google.colab import drive drive.mount('/content/gdrive')
тогдашним> path = "/gdrive/My Drive/filename"

Теперь вы можете получить доступ к файлам диска Google в Google Colab.

Способ 2: прямая загрузка

from google.colab import files
def getLocalFiles():
    _files = files.upload()
    if len(_files) >0:
       for k,v in _files.items():
         open(k,'wb').write(v)
getLocalFiles()

Способ 3: использование файлов импорта

from google.colab import files
uploaded = files.upload()

user9400352 23 июн '18 в 08:57 2018-06-23 08:57 · Answer 5 · 2018-06-23 08:57

Это двухэтапный процесс.

Шаг 1: Сначала вызовите селектор файлов с помощью в вашей записной книжке colab со следующим кодом

from google.colab import files
uploaded = files.upload()

это приведет вас к окну файлового браузера

Шаг 2: Чтобы загрузить содержимое файла в кадр данных Pandas, используйте следующий код

import pandas as pd
import io
df = pd.read_csv(io.StringIO(uploaded['iris.csv'].decode('utf-8')))
print(df)

user8584868 06 июл '18 в 08:02 2018-07-06 08:02 · Answer 6 · 2018-07-06 08:02

Чтобы получить данные из вашей системы в Colab, попробуйте это:

from google.colab import files
uploaded = files.upload()

Выберите файл, который вы хотите загрузить, и нажмите Enter, и все готово. Например, я загрузил изображение и отобразил его, используя код ниже:

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('image.jpg')
img_cvt = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

plt.imshow(img_cvt)
plt.show()

user9162193 17 мар '18 в 02:23 2018-03-17 02:23 · Answer 7 · 2018-03-17 02:23

Использование этого в качестве альтернативы для людей, которые предпочитают другой способ загрузки большего количества файлов - это в основном позволяет загружать ваши файлы через Google Drive.

Запустите приведенный ниже код (нашел это где-то ранее, но я не могу найти источник снова - кредиты тому, кто это написал!):

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

Нажмите на первую появившуюся ссылку, которая предложит вам войти в Google; после этого появится другое, которое попросит разрешения на доступ к вашему Google Диску.

Затем запустите этот файл, который создаст каталог с именем "drive" и свяжет с ним ваш Google Drive:

!mkdir -p drive
!google-drive-ocamlfuse drive

Если вы делаете !ls теперь будет каталог driveи если вы сделаете !ls drive Вы можете увидеть все содержимое вашего Google Drive.

Так, например, если я сохраню свой файл под названием abc.txt в папке с именем ColabNotebooks в моем Google Диске, теперь я могу получить к нему доступ через путь drive/ColabNotebooks/abc.txt

user4728918 23 мар '18 в 03:50 2018-03-23 03:50 · Answer 8 · 2018-03-23 03:50

Скажем, у вас есть папка на вашем диске Google с именем Colab и csv там находится файл Чтобы загрузить этот файл

import pandas as pd
titanic = pd.read_csv(“drive/Colab/Titanic.csv”)
titanic.head(5)

Перед этим вам может потребоваться выполнить следующую команду:

Сначала запустите эти коды, чтобы установить необходимые библиотеки и выполнить авторизацию.

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

Когда вы запустите приведенный выше код, вы должны увидеть такой результат:

Нажмите на ссылку, скопируйте код подтверждения и вставьте его в текстовое поле.

После завершения процесса авторизации,

подключите ваш Google Диск:

!mkdir -p drive
!google-drive-ocamlfuse drive

user8461493 23 янв '19 в 08:21 2019-01-23 08:21 · Answer 9 · 2019-01-23 08:21

Вы можете использовать этот URL для загрузки ваших файлов в Google Colab:

https://colab.research.google.com/notebooks/io.ipynb#scrollTo=vz-jH8T_Uk2c

идти к Local file system>Downloading files to your local file systemЗатем запустите код. После этого появится кнопка браузера для загрузки файлов с вашего ПК.

1

Источник

user8461493 23 янв '19 в 08:21