Oracle - Профилирование данных и очистка данных из промежуточных таблиц
У меня есть следующее требование:
а) Мы конвертируем данные из устаревшей системы (файлы мэйнфреймов) в новую систему (реляционная БД Oracle)
б) есть уровень ETL, который преобразует данные из Legacy в новую систему
в) Сейчас у нас есть отдельные сценарии для проверки данных на основе бизнес-правил. Так как это банковские данные, правила проверки довольно сложны. У нас есть около 3000 отдельных запросов для проверки данных
г) К сожалению, описанный выше процесс работает в режиме "все или ничего". то есть мы не можем переместить данные из промежуточных в основные таблицы, если все проверки не пройдут
e) Может ли кто-нибудь предложить стратегию, которая может помочь мне идентифицировать записи на уровне набора таблиц (ссылочная целостность + правила преобразования + проверки бизнеса на данных)?
f) Поскольку это банковские данные, в какой-то таблице содержатся миллионы записей, поэтому решение также должно быть эффективным.