Vertica Большие объекты
Я переношу таблицу из Oracle в Vertica, содержащую столбец LOB. Максимальный фактический размер столбца большого объекта составляет 800 МБ. Как эти данные могут быть размещены в Vertica? Уместно ли использовать Flex Table?
В документации Vertica говорится, что данные, загруженные в таблицу Flex, хранятся в столбце raw, который является типом данных LONG VARBINARY. По умолчанию он имеет максимальное значение 32 МБ, которое, согласно документации, может быть изменено (то есть увеличено) с помощью параметра FlexTablesRawSize.
Я думаю, что это подход для хранения больших объектов в Vertica. Нам просто нужно обновить параметр FlexTablesRawSize для обработки 800 МБ данных. Я хотел бы проконсультироваться, если это оптимальный способ или есть лучший способ. Или это будет конфликтовать с ограничением строки таблицы Vertica, которое допускает только до 32 МБ данных на строку?
Заранее спасибо.
1 ответ
Если вы используете Vertica для создания базы данных больших данных, вы, как и в любой аналитической базе данных, стараетесь избегать больших объектов в вашей таблице. BLOB и CLOB обычно используются для хранения неструктурированных данных: больших документов, файлов изображений, аудиофайлов, видеофайлов. Вы не можете фильтровать по такому столбцу, вы не можете запускать функции или суммировать его и т. Д., Вы не можете группировать по нему.
Безопасный и производительный дизайн должен привести к сохранению имени файла в столбце таблицы Vertica, сохранению файла, возможно, даже в Hadoop, и разрешить внешнему интерфейсу (обычно это инструмент BI, и все инструменты BI поддерживают его) получить файл для его передачи. на экран отчета...
Удачи...
Marco