Много маленьких файлов против одного большого файла для AWS S3 и Glacier:

Question

В качестве экземпляра EC2 у меня есть потоковый сервер, а продолжительность фрагментов видео составляет 8 секунд. Я хочу заархивировать поток для целей аудита, поэтому я записываю поток обратно как один файл каждую 1 минуту

я должен сохранить куски 8 секунд на S3, затем на Glacier или сохранить объединенный 1-минутный файл

Какой выбор лучше с точки зрения стоимости и производительности? для s3, а затем для ледника

Answer 1

Итак, чтобы ответить на ваш вопрос:

Вы должны загрузить больший файл, который является объединенным 1-минутным файлом.

С точки зрения стоимости, как S3, так и Glacier взимают плату за каждый запрос, помимо используемого вами хранилища в ГБ, поэтому загрузка больших кусков означает меньшее количество запросов к S3 и Glacier, что позволяет снизить затраты.

Что касается производительности, вы сказали в комментариях, что вам редко нужно извлекать файлы, поэтому я рекомендую вам использовать Glacier. Однако будьте осторожны: когда вы поместите файл в Glacier, его извлечение займет пару часов, поэтому он подходит только в том случае, если вам нужны данные очень редко, если не когда-либо.

Если вам нужно часто получать данные, вам следует использовать S3 (получение данных происходит мгновенно). Но S3 платит больше за хранение, чем Glacier, поэтому между ними есть свои плюсы и минусы.