Копирование файла из одного ведра S3 в другое ведро S3 с использованием Lambda - ограничение по времени?

Мне нужно скопировать большие файлы (могут быть даже больше 50 ГБ) из одного ведра S3 в другое ведро S3 (на основе событий). Я планирую использовать s3.Object.copy_from, чтобы сделать это внутри Lambda (используя boto3).

Я хотел узнать, пробовал ли кто-нибудь это? будет ли это иметь какие-либо проблемы с производительностью для больших файлов (100 ГБ и т. д.), что приведет к тайм-ауту Lambda?

Если да, то есть ли альтернативный вариант? (Я пытаюсь использовать код, так как мне может понадобиться выполнить какую-то другую дополнительную логику, например переименовать файл, переместить исходный файл в архив и т. д.).

Примечание. Я также изучаю варианты репликации AWS S3, но параллельно ищу другие решения.

1 ответ

Используйте склейку, чтобы скопировать файл из одной корзины в другую, поскольку у вас есть ограничение по времени.

Другие вопросы по тегам