AWS Glue - могут ли условные триггеры срабатывать с условными заданиями из другого рабочего процесса?
Я использую сервис AWS Glue с двумя отдельными рабочими процессами (скажем, рабочий процесс A и рабочий процесс B).
Я создал триггер условного типа в рабочем процессе B, который наблюдает за заданиями в рабочем процессе A и предположительно срабатывает, когда они завершаются успешно. Может ли этот триггер действительно сработать, если он наблюдает за заданиями из рабочего процесса A (т. Е. Другого рабочего процесса)?
Я тестировал это несколько раз, но похоже, что задания в рабочем процессе B, которые должны запускаться этим конкретным триггером, не запускаются, несмотря на то, что все задания, за которыми наблюдают, успешно выполняются.
Кажется, я не могу найти никакой информации об этой конкретной настройке AWS Glue.
2 ответа
Из документации AWS кажется, что триггеры, запускающие рабочий процесс, должны быть одного из следующих типов:
- График
- По требованию
- EventBridge событие
Ссылка: https://docs.aws.amazon.com/glue/latest/dg/workflows_overview.html
Решением моей проблемы может быть полное исключение рабочих процессов и просто создание триггеров и заданий.
несмотря на то, что это старая тема, я решил дать более уверенный ответ:
согласно этому сообщению в центре знаний ясно, что условные триггеры работают только тогда, когда они связаны с рабочим процессом предиката условного субъекта/триггера:
У вас есть рабочий процесс с заданием JOB_MAIN, которое запускается триггером TEST_TR. Триггер TEST_TR зависит от завершения другого задания JOB_DEP, которое не является частью текущего рабочего процесса. В этом случае, даже если JOB_DEP завершается успешно и логика предиката триггера TEST_TR выполняется, задание JOB_MAIN не запускается. Задание не запускается, поскольку условие предиката выполняется агентом, который не является частью того же рабочего процесса.