Делать запросы на пакетное копирование в AWS S3 с Python

Question

Я написал лямбда-функцию для копирования файлов из корзины s3 в другую корзину s3, и мне нужно переместить очень большое количество этих файлов. Чтобы попытаться удовлетворить требования к объему, я искал способ отправить эти запросы большими партиями на S3, чтобы сократить накладные расходы. Однако я не могу найти информацию о том, как сделать это в Python. В документации по boto3 есть класс Batch, но я не могу понять, как он работает или даже что он на самом деле делает.

Answer 1

Нет вызова API Amazon S3, который может копировать несколько файлов в одном запросе.

Наилучший вариант - отправлять запросы параллельно, чтобы они выполнялись быстрее.

Диспетчер переноса boto3 может помочь вам в этом.

Примечание: для S3 не существует такой команды как "перемещение". Вместо этого вам нужно будет скопировать, а затем удалить. Просто упомяну это для других читателей.