Как проверить согласованность в промежуточной базе данных?
У меня есть база данных стадий, которая принимает реестры из разных CSV-файлов, и мне нужно найти способ, чтобы она работала лучше, переходя от партии к сети. Один из подходов состоит в том, чтобы представить прием, используя представление REST, и поддержать его каким-либо решением для очередей, чтобы контролировать пропускную способность входящих запросов и настраивать ее. Однако, так как реальный способ обработки это очень проблематично, я хотел бы также изменить его.
Поэтому я подумал о том, чтобы ввести время допуска, при котором я проверяю, является ли реестр непоследовательным, до тех пор, пока я не удалим эти данные и уведомлю третье лицо, ответственное за несогласованность данных. Есть соображения?
И в отношении данных в таблицах промежуточного хранения данных. Я не уверен, что будет лучшим способом удалить промежуточные данные после использования ETL. Я не уверен, что использование планировщика, такого как Control-M, было бы хорошим решением, или если есть другой подход, но я всегда за развязанные решения. Вот почему я хотел бы услышать об этом. Понять, что работает.
Я читаю эту статью https://www.timmitchell.net/etl-best-practices/ но мне все еще нужны некоторые идеи о реальных мировых практиках.