S3 загружает высокий дисковый ввод-вывод и использование процессора

Question

Я столкнулся с высокой нагрузкой на процессор и ввод / вывод, когда пытался загрузить 100 ГБ небольших файлов (PNG-изображений) в корзину S3 с помощью очень простого загрузчика go s3.

Есть ли способ ограничить пропускную способность (например, через конфигурацию aws-sdk-go) или что-то еще, чтобы сделать процесс загрузки менее интенсивным или эффективным:), чтобы уменьшить использование процессора и ввода-вывода.

Я пробовал хороший процессор и ввод-вывод, но на самом деле это не помогает.

Answer 1

Вы пробовали S3Manager, https://docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/? Из документов:

Пакет s3manager предоставляет утилиты для одновременной загрузки и выгрузки объектов из S3. Полезно при работе с большими объектами.