Аудит на уровне конвейера SnapLogic
Я работаю над проектом, который требует от нас разработки различных конвейеров для представлений базы данных и веб-сервисов. Но существует требование, которое требует от нас проверять и регистрировать каждую деталь, касающуюся конвейера, какой конвейер был выполнен, какой дочерний конвейер был выполнен, в какое время, дату, запущен или запланирован, а также удаленную информацию, такую как IP-адрес, идентификатор пользователя с которой они получили доступ к трубопроводу.
Теперь я наткнулся на эти общедоступные API, которые существуют в snapLogic, но они более или менее предоставляют мне информацию только о конвейерах, а не удаленную информацию. Таким образом, если существует какой-либо прямой механизм, который мы можем использовать, или любой другой способ обойти то же самое.
2 ответа
Помимо того, что SnapLogic предоставляет вам, что касается журналов, нет ничего такого для ведения журналов, как мы делаем в общей разработке.
Если вы хотите детализированное ведение журнала для ваших конвейеров, вы должны включить логику в сам конвейер. Вы можете создавать таблицы журналов в некоторой базе данных, в которой могут храниться ваши данные о выполнении. Или вы можете сбросить журналы в текстовые файлы в каком-то месте FTP.
Что касается фактического ведения журнала, вы можете регистрировать начало и конец выполнения некоторого родительского конвейера и всех вложенных конвейеров внутри. Вы можете идентифицировать каждое выполнение на основе некоторого механизма именования, такого как имя родительского конвейера плюс время его запуска (возможно). Вы можете регистрировать определенные процессы, такие как выгрузка файлов, вставка базы данных и т. Д. Вы также можете использовать представление ошибок для различных моментальных снимков и регистрировать любые ошибки, с которыми они сталкиваются.
То, как вы подходите к этому, зависит от вас, но суть в том, что вы должны справиться с этим в самом конвейере. Кроме того, если вы воспользуетесь этим подходом, вам лучше создать какой-нибудь общий конвейер, а затем просто перетащить его (или использовать конвейерное выполнение) туда, где вам это нужно.
Задачи Snaplogic Triggered могут получить исходный IP-адрес, пользовательский агент, вы можете извлечь их в оснастке сопоставления ввода. Snaplogic API и несколько пользовательских карт могут помочь вам достичь ваших результатов.