Использование Amazon Storage Gateway (File Gateway) по сравнению с обычной синхронизацией с Amazon S3

Question

Я использую AWS S3 для хранения файлов. В некоторых случаях приложение должно читать и записывать более 1000 файлов один за другим с S3. Выполнение таких операций по HTTP будет медленнее и также занимает полосу пропускания.

Подход 1
Поэтому я решил хранить файлы локально в папке и выполнять операции ввода-вывода локально. И у меня будет CloudBerry, который будет синхронизировать эти файлы с корзиной S3 по ежедневному расписанию.

Подход 2
Я только что натолкнулся на Amazon Storage Gateway (Файловый шлюз). Благодаря File Gateway мои сконфигурированные сегменты S3 будут доступны в качестве точек монтирования сетевой файловой системы (NFS). Мои приложения читают и пишут файлы и каталоги по NFS. В свою очередь, Amazon Storage Gateway синхронизирует эти файлы с корзиной S3.

Какой подход будет лучшим вариантом?

Я никогда не использовал Amazon Storage Gateway, но я предполагаю, что мне придется размещать шлюз на другом сервере, поэтому операция ввода-вывода будет медленнее, поскольку ввод-вывод будет выполняться по сети с использованием пути UNC. Также Amazon Storage Gateway имеет кеширование, куда он будет кешировать файлы?

Answer 1

AWS Storage Gateway (Файловый шлюз) предоставляет образ виртуальной машины, который вы запускаете на локальном сервере. Затем он делает монтирование NFS доступным в вашей сети. Он подключается в серверной части к Amazon S3.

Файлы кэшируются локально, поэтому к ним можно получить очень быстрый доступ (если они используются недавно). Кэш предоставляется на виртуальной машине, на которой запущен образ виртуальной машины Storage Gateway.

По сравнению с почасовой / ежедневной синхронизацией (которую также можно выполнить с помощью интерфейса командной строки AWS (CLI) aws s3 sync команда), Storage Gateway будет выполнять обновления в течение дня. Он также будет занимать меньше места для хранения, поскольку кэширует только объекты, к которым недавно обращались, а не все объекты.

Хотя файлы будут доступны через сеть, это ничем не отличается от использования обычного файлового сервера.

Однако, если опция Sync работает для вашего варианта использования, обязательно попробуйте ее. Это было бы проще в настройке.