Поддерживает ли какой-либо облачный хранилище объектов индексы метаданных объекта?
У меня очень большое хранилище документов - около 50 миллионов документов JSON, с добавлением еще 50 миллионов в год. Каждый около 10К. Я хотел бы хранить их в облачном хранилище и извлекать их с помощью пары индексов структурированных метаданных, которые я буду обновлять по мере добавления документов в хранилище.
Похоже, что AWS S3, Google Cloud Storage и Azure позволяют возвращать пользовательские метаданные вместе с объектом, но не используются как часть запроса GET для фильтрации коллекции объектов.
Есть хорошее решение "из коробки" для этого? Я не могу найти ни одного, но похоже, что мой вариант использования не должен быть действительно необычным. Мне не нужно запрашивать атрибуты документа или возвращать частичные документы, мне просто нужно получить коллекцию документов, отфильтровывая несколько полей метаданных.
На странице AWS SimpleDB упоминается "Индексирование метаданных объекта Amazon S3" в качестве варианта использования и ссылки на библиотеку, которая не обновлялась с 2009 года.
1 ответ
Они просто говорят, что вы можете хранить и запрашивать метаданные в amazon simple DB, которая является базой данных NoSQL, предоставленной для вас amazon. В зависимости от типа имеющихся у вас метаданных вы также можете сохранить их в РСУБД. Несколько сотен миллионов строк не слишком много, если вы создадите правильные индексы и можете хранить URL-адреса или имена файлов, чтобы получить доступ к файлам, хранящимся в S3, Azure, … впоследствии.