Проверка данных из множества однопользовательских БД в одну многопользовательскую звездную схему
Я занимаюсь разработкой многопользовательской звездной схемы, содержащей данные из нескольких тысяч однопользовательских баз данных (все с одинаковой структурой) . Данные доставляются через AWS Kinesis (Firehose) и Клей. Проблема, с которой я столкнулся, заключается в проверке содержимого схемы "звезда" по исходной системе, чтобы она была полной и точной. Как наилучшим образом обеспечить абсолютную точность данных в схеме "звезда" (некоторая задержка загрузки ETL в порядке)? Любые идеи приветствуются...