Чтение входных данных из GCS

Question

Каков рекомендуемый способ загрузки данных из GCS? Пример кода показывает копирование данных из GCS в /tmp/ каталог. Если это предлагаемый подход, то сколько данных может быть скопировано в /tmp/?

Answer 1

Хотя у вас есть эта опция, вам не нужно копировать данные на локальный диск. Вы должны иметь возможность ссылаться на данные обучения и оценки непосредственно из GCS, ссылаясь на свои файлы / объекты, используя их URI GCS - например. гс:// ведро / путь / к / файлу. Эти пути можно использовать там, где вы обычно используете локальные пути файловой системы в API-интерфейсах TensorFlow, которые принимают пути к файлам. TensorFlow поддерживает возможность доступа к данным (и записи в) GCS.

Вы также должны иметь возможность использовать префикс для ссылки на набор подходящих файлов, а не ссылаться на каждый файл по отдельности.

Примечание: вы захотите проверить https://cloud.google.com/ml/docs/how-tos/using-external-buckets на тот случай, если вам нужно соответствующим образом ACL свои данные, чтобы они были доступны для обучения.

Надеюсь, это поможет.