Простая и масштабируемая не размещенная альтернатива Amazon S3

Question

Я даю пользователям возможность прикреплять изображения, видео, аудиоклипы и другие вложения к файлам внутри существующего веб-приложения. В некоторых версиях нашего продукта тысячи пользователей, поэтому объем данных будет очень высоким.

Amazon S3 является очевидным решением, но по юридическим причинам не всегда может быть использовано. Мне нужно решение, которое мои клиенты могут принять самостоятельно.

Поэтому я ищу, чтобы построить или принять систему хранения файлов со следующими характеристиками:

• Не принимается. Должен быть установлен на серверах Windows моих клиентов.
• Горизонтально масштабируется до терабайт хранилища.
• Аналогичная операция с S3 такая, что я могу сделать оба подхода частью моего продукта.
• Проверенная архитектура

Я видел несколько предложений по этому вопросу в Stackru и других форумах (Eucalyptus Walrus, Hadoop HDFS, MongoDB + GridFS, CouchDB, MogileFS), но не смог найти достаточно информации, чтобы определить один из них как простой и проверенный.

У меня есть опыт работы с CouchDB, и я бы запрыгнул на него, если бы был уверен, что он будет хорошо работать с терабайтами видеофайлов, но я не нашел хорошей истории успеха, на которую можно было бы опираться.

Answer 1

Наиболее близким проектом с открытым исходным кодом является OpenStack swift ( https://github.com/openstack/swift). Это мощные RackSpace CloudFiles. Хотя дизайн S3 точно не известен, OpenStack построен, чтобы дать очень похожую функциональность.
Это масштабирование, нет единой точки отказа или узких мест.