Matillion для Amazon Redshift поддерживает мониторинг работы
Я работаю над Amazon Matillion для Redshift, и у нас ежедневно выполняется несколько заданий, запускаемых сообщениями SQS. Сейчас я проверяю возможность создания панели мониторинга пользовательского интерфейса для заинтересованных сторон, которая будет следить за ходом выполнения работ в реальном времени и отображать отчет о предыдущих работах, таких как имя задания, влияние на таблицы, статус задания / причина сбоя и т. Д. Поддерживает ли Matillion такую информацию? неявно? Или мне придется хранить эту информацию для каждой работы.
1 ответ
У Matillion есть API, который вы можете использовать для получения подробной информации обо всей истории задач. Информация об API задач находится здесь: https://redshiftsupport.matillion.com/customer/en/portal/articles/2720083-loading-task-information?b_id=8915
Вы можете использовать это для извлечения данных о выполняющихся в данный момент или завершенных заданиях до уровня компонента, включая имя задания, имя компонента, продолжительность выполнения, успешно ли он запущен или нет, а также любое соответствующее сообщение об ошибке.
Эту информацию можно перенести в таблицу Redshift с помощью профиля API Matillion, который встроен в продукт, и компонента API Query. Затем вы можете построить свою панель инструментов поверх этой таблицы. Для получения дополнительной информации я предлагаю вам связаться с Matillion через их центр поддержки.
API полезен, но вы можете передавать только дату в качестве параметра (это для Matillion для Snowflake, предположим, что то же самое для Redshift). Я запросил возможность передавать дату и время, чтобы мы могли запускать задания в течение дня и не возвращать один и тот же набор записей каждый раз, когда выполняется наш вызов API.