MongoDB Capped Collection для многократного хранения данных SQL
Я запрашиваю базу данных SQL и хочу сохранить результаты запроса в локальной базе данных mongo несколько раз (например, каждые 30 минут). Данные SQL не очень последовательны, то есть существует много null ценности.
Данные, которые я хочу сохранить, имеют следующий формат:
{
"attribute1": value,
"attribute2": value,
"hugeArray": [], // 30.000 entries
}
Массив имеет около 100MB и не станет намного больше в будущем.
Каждые 30 минут SQL-запрос будет давать почти тот же результат.
Я новичок, и я не знаю, patching и обновить несколько старых значений в mongodb быстрее, чем уронить collection и (повторное) добавление всех значений.
Меня не волнует порядок вставки записей, я сделаю только один SQL-запрос и сохраню эти данные в моей базе данных mongodb.
Я не могу использовать документы из-за этого ограничения:
Максимальный размер документа BSON составляет 16 мегабайт.
Это capped collection хороший выбор для моих обстоятельств или есть какие-то лучшие решения, и вы можете обосновать это?