Как хранить данные RDS в S3 почти в реальном времени? (AWS DMS)

Question

Моя цель - хранить данные RDS в реальном времени на S3.

Я нашел службу aws dms, но она точно не задокументирована, как она работает, поэтому я не решаюсь представить ее.

1. Как работает полная нагрузка?

Я рассматриваю полную загрузку + CDC. Однако я не знаю, как работает полная нагрузка. Это простоselect * from table?

Мне интересно, есть ли какие-либо проблемы с сервером, который в настоящее время работает при полной загрузке.

Например, взаимоблокировка возникает из-за блокировки таблицы из-за выбора.

2. CDC, как известно, хранятся в формате журнала.

Я понятия не имею, как обработать этот журнал, чтобы он попал в финальную таблицу.

Конечная цель - настроить журнал CDC, чтобы его можно было запрашивать из AWS athena с преобразованными данными.

RDS: MariaDB версии 10.2.21

Answer 1

Я рекомендую использовать конвейер данных aws, поскольку вы можете экспортировать данные в формате csv и сохранять их в s3.

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-copyrdstos3.html

вы можете запланировать работу в соответствии с вашими требованиями:

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html