Прослеживаемость данных для идентификации данных, переданных для расчета
Нам нужно выполнить определенные вычисления для набора транзакций, используя пользовательскую логику (будет написано на Java или Python).
Расчеты будут выполняться по транзакциям за определенный период (например, с 1 января по 31 января 2017 года) и по состоянию на момент расчета, например, 31 января 2018 года. Пользователи могут добавлять (или отменять) транзакции с задним числом в любое время. Будет несколько сотен тысяч транзакций, и расчеты могут выполняться несколько раз за один и тот же период времени. Следовательно, бизнес должен знать, какие транзакции были использованы для какого расчета.
Кто-нибудь знает, есть ли какие-либо инструменты, которые могут помочь в этой прослеживаемости данных, чтобы идентифицировать данные, которые использовались для определенного вычисления?
Я думаю, что это трудно для любого инструмента, так как наш пользовательский код знает данные, которые он использовал.
Мы думаем о хранении транзакций (просто идентификаторов), которые ссылаются на каждый расчет, в базе данных, которая может использоваться бизнес-инструментами для визуализации данных. Учитывая объем транзакций, это займет время (может быть в часах), чтобы вставить эти многочисленные записи, но это будет приемлемо.
Я буду признателен, если кто-то, кто сталкивался с подобной проблемой, может поделиться своим опытом и как это было решено. Я не уверен, есть ли какой-либо стандартный образец, поскольку это, вероятно, не распространенная проблема.
Спасибо