Максимальный размер и размер таблицы AWS RDS Postgres

Заранее спасибо!

Я планирую использовать AWS RDS Postgres для довольно больших данных (> ~50 ТБ), но у меня есть пара вопросов без ответа

  1. Является ли 16 ТБ максимальным пределом для экземпляра AWS RDS Postgres, если так, как люди хранят данные> 16 ТБ.

  2. Является ли ограничение в 16 ТБ для RDS максимальным размером сжатия базы данных после сжатия, который Postgres может хранить в AWS.

  3. Также я не вижу возможности включить сжатие при настройке экземпляра AWS RDS Postgres DB. Как включить сжатие в AWS RDS Postgres?

Я следовал:

  1. https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_Limits.html

  2. https://blog.2ndquadrant.com/postgresql-maximum-table-size/ (где таблица Postgres может иметь размер больше 32 ТБ).

  3. https://wiki.postgresql.org/wiki/FAQ#What_is_the_maximum_size_for_a_row.2C_a_table.2C_and_a_database.3F

Источник

2 ответа

В дополнение к RDS для PostgreSQL, который имеет ограничение 32 TiB, вы должны взглянуть на Amazon Aurora PostgreSQL, который имеет ограничение в 64 TiB. В обоих случаях самая большая отдельная таблица, которую вы можете создать, составляет 32 ТиБ, хотя вы не можете достичь этого размера в RDS для PostgreSQL, так как часть пространства будет занята системным каталогом.

Полное раскрытие: я менеджер по продукту для Aurora PostgreSQL в AWS.

Источник

По состоянию на 2019/02/11 документы Amazon утверждают, что максимальный размер базы данных для экземпляра Postgres RDS составляет 32 ТБ. Кроме того, этот предел в 32 ТБ представляется жестким (некоторые ограничения AWS считаются "мягкими", поскольку пользователь может запросить их повышение).

Как предлагали другие, одним из вариантов будет управление собственной базой данных, однако это вряд ли будет легко, учитывая масштаб данных, о которых мы здесь говорим.

Оставаясь в экосистеме AWS, можно также сохранить все свои данные в S3 и использовать AWS Athena для выполнения запросов, хотя в зависимости от того, какие запросы вы будете выполнять, это может стать довольно дорогим.

Что касается вашего вопроса о сжатии, если вы храните данные в s3, вы можете сжать их перед загрузкой. Вы также можете найти этот ответ полезным.

Источник

Лимит RDS был увеличен до 64 ТБ.

Экземпляры баз данных MariaDB, MySQL, Oracle и PostgreSQL: 20–64 ТиБ

SQL Server для выпусков Enterprise, Standard, Web и Express: 20–16 ТиБ

Источник
Другие вопросы по тегам