AWS Storage gateway для кеширования миллионов файлов в S3
У нас есть случай, когда нам нужно получить доступ почти к миллионам файлов из приложения Java. В настоящее время мы храним их в объеме EBS. Это оказывается дорогостоящим вариантом (сейчас мы достигли 15 ТБ), поэтому мы ищем S3 в качестве хранилища файлов. Мы в порядке, чтобы нести задержку.
Одним из вариантов является монтирование S3 с использованием s3fs и доступ к файлам. Но я изучал вариант шлюза хранилища AWS, если он может обеспечить лучшее кэширование и более быстрый доступ. Мы столкнулись с множеством проблем с s3fs, поэтому искали альтернативы.
1 ответ
По возможности избегайте использования s3fs, поскольку он просто эмулирует файловую систему и может столкнуться с проблемами с высокой загрузкой.
Лучшее решение для вашего приложения - получить доступ к файлам напрямую из Amazon через вызовы API S3, а не делать вид, что S3 - файловая система. Это очень хорошо работает для крупномасштабных приложений, и у вас не будет никаких затрат на администрирование / обслуживание, потому что ваше приложение обменивается данными напрямую с S3. Вы должны серьезно рассмотреть этот вариант.
Если вам действительно необходим доступ к файлам через файловую систему, рассмотрите возможность использования AWS Storage Gateway - File Gateway, который может представлять хранилище S3 в качестве общего ресурса NFS.