Скачивание файлов S3 в Google Colab

Question

Я работаю над проектом, и бывает, что некоторые данные предоставляются в форме S3fileSystem. Я могу прочитать эти данные с помощью S3FileSystem.open(path). Но существует более 360 файлов, и чтение одного файла занимает не менее 3 минут. Мне было интересно, есть ли способ загрузить эти файлы в мою систему и прочитать их оттуда, вместо того, чтобы читать их прямо из S3fileSystem. Есть еще одна причина, хотя я могу читать все эти файлы, но как только мой сеанс в colab повторно подключается, мне придется снова перечитать все эти файлы, поэтому это займет много времени. Я использую следующий код для чтения файлов

fs_s3 = s3fs.S3FileSystem(anon=True)
s3path = 'file_name'
remote_file_obj = fs_s3.open(s3path, mode='rb')
ds = xr.open_dataset(remote_file_obj, engine= 'h5netcdf')

Есть ли способ скачать эти файлы?

Answer 1

Вы можете использовать другой s3fs чтобы установить бакет, затем скопируйте файлы в Colab.

как установить

После монтажа можно

!cp /s3/yourfile.zip /content/