Количество запросов PUT для загрузки папки S3

Question

Я новичок в AWS. Я работаю с объектами S3 PUT и пытаюсь загрузить 10 файлов в папку.

Чтобы быть более конкретным, я загружаю папку. Сколько запросов PUT требуется для завершения загрузки файлов? Будет ли это 10 запросов PUT, потому что 10 файлов обрабатываются как 10 объектов в S3 или 1 запрос при загрузке файла?

Answer 1

Здесь мы добавим более описательный ответ, поскольку Amazon S3 предлагает ряд классов хранилищ, оптимизированных для различных вариантов использования. Такой как..

1. Ограничение размера объекта хранения.
2. Срок хранения
3. Структура затрат
4. Управление жизненным циклом
5. поиск предметов.

Когда мы говорили об AMAZON S3, он реплицирует данные в трех или более зонах доступности в регионе, которые охватывают минимум 1 км или максимум 100 км, просто чтобы избежать таких случаев, как стихийные бедствия, и обеспечить отказоустойчивость, отказоустойчивость и LLT.

Посмотрите на картинку ниже:

Amazon S3 предлагает вам восемь различных классов хранилищ, ниже приведены те…

1. Стандартный (часто запрашиваемые данные, чаще одного раза в месяц с ms/access )
2. Интеллектуальное многоуровневое распределение (S3 Intelligent-Tiering обеспечивает миллисекундную задержку и высокую пропускную способность для часто, нечасто и редко используемых данных на уровнях частого, нечастого и архивного мгновенного доступа. )
3. Standard-IA (Редко используемые данные, раз в месяц с ms/access).
4. One-Zone IA (воспроизводимые, редко используемые данные, один раз в месяц, хранящиеся в одной зоне доступности с ms/access)
5. Glacier Instant Retrieval (длинные архивные данные один раз в квартал с мгновенным поиском в мс)
6. Glacier Flexible Retrieval (ранее Glacier) : длинные архивные данные один раз в год с извлечением, которое может длиться от минут до часов в зависимости от данных.
7. Glacier Deep Archive: длинные архивные данные реже одного раза в год с извлечением часов.

Теперь вернемся к исходному вопросу об AWS. Запрос PUT

Точно: когда вы загружаете папку через API, вы загружаете объект размером до 5 ГБ за одну операцию, говоря, что вам обычно требуется один запрос на размещение для одного файла, и этот файл может иметь максимальный размер до 5 ГБ, иначе он будет мульти- parted, что в дальнейшем потребует больше операций put.

Amazon S3 — это распределенная система. Операция запроса PUT AWS S3 используется для добавления объекта в корзину.

Имейте в виду, что при загрузке файла в Amazon S3 он сохраняется какS3 object. Объекты состоят изfile dataиmetadataкоторый описывает объект. Более тогоs3предоставляет вам свободу загружать файлы любого типа вS3ведро, например:

изображений

резервные копии

данные

кино

Цитата

Что еще нужно знать при загрузке файла вs3 bucket, существует ограничение на загрузку файла:

• Через консоль s3 загрузка составляет макс. 160 ГБ.
• Для файлов размером более 160 ГБ необходимо использовать AWS CLI, AWS SDK или Rest API.

В зависимости от размера загружаемых данных Amazon S3 предлагает следующие варианты:

• Загрузить объект за одну операцию с помощью AWS SDK, REST API или AWS CLI . За одну операцию PUT можно загрузить один объект размером до 5 ГБ.

• Загрузка одного объекта с помощью консоли Amazon S3 . С помощью консоли Amazon S3 можно загрузить один объект размером до 160 ГБ.

• Загружайте объект по частям с помощью AWS SDK, REST API или AWS CLI . Используя API многокомпонентной загрузки, вы можете загружать один большой объект размером до 5 ТБ.

• Многокомпонентная загрузка — API многокомпонентной загрузки предназначен для улучшения загрузки больших объектов. Вы можете загрузить объект по частям. Эти части объекта можно загружать независимо, в любом порядке и параллельно. Вы можете использовать составную загрузку для объектов размером от 5 МБ до 5 ТБ.

Использование многокомпонентной загрузки дает следующие преимущества:

Улучшенная пропускная способность — вы можете загружать детали параллельно, чтобы повысить пропускную способность.

Быстрое восстановление после любых проблем с сетью — меньший размер части сводит к минимуму влияние повторного запуска неудачной загрузки из-за сетевой ошибки.

Приостановить и возобновить загрузку объектов — вы можете загружать части объектов с течением времени. После того, как вы инициируете многокомпонентную загрузку, срок действия не истекает; вы должны явно завершить или остановить многокомпонентную загрузку.

Начните загрузку до того, как вы узнаете окончательный размер объекта. Вы можете загружать объект по мере его создания.

Как работает загрузка при загрузке каталога/папки:

При загрузке файлов из каталога вы не указываете имена ключей для результирующих объектов. Amazon S3 создает имена ключей, используя исходный путь к файлу. Например, предположим, что у вас есть каталог c:\myfolder со следующей структурой:

      C:\myfolder
      \a.txt
      \b.pdf
      \media\               
             An.mp3

Дополнительные сведения см. в AWS PUT KB .

• Amazon S3 не поддерживает блокировку объектов для параллельных операций записи. Если два запроса PUT одновременно выполняются для одного и того же ключа, выигрывает запрос с самой последней отметкой времени.

Посмотрите документ aws о загрузке каталога.