Как регулировать DataStage
Я работаю над проектом, в котором мы запускаем несколько последовательностей DataStage, которые могут выполняться параллельно, в частности, одна из них работает плохо и требует много ресурсов, что влияет на общую среду. Инициатива по настройке производительности находится в стадии разработки, но займет время.
В то же время я надеялся, что мы сможем ограничить DataStage, чтобы ограничить ресурсы, которые могли бы использоваться этим конкретным заданием / последовательностью, однако я лично не имел опыта работы с DataStage.
Может кто-нибудь прокомментировать, если эта возможность существует в DataStage (v8.5, я полагаю), и указать мне в направлении некоторых дополнительных деталей.
Во-вторых, я знаю, что мы можем на газ в зависимости от пользователя (я думаю, что это связано с AIX 'ulimit', но не уверен). Легко / возможно ли запускать разные задания / последовательности для разных пользователей?
3 ответа
В этом типе ситуаций ресурсы для конкретной работы могут быть ограничены путем указания количества узлов и ресурсов в файле конфигурации. Возможно в 8.5, и вы можете найти что-то на http://www.datastagetips.com/
Revolution_In_Progress прав.
Datastage PX имеет понятие файла конфигурации. Этот файл может быть указан для всех выполняемых вами заданий или может быть переопределен для каждого задания. Файл конфигурации может использоваться для ограничения физических ресурсов, связанных с заданием.
В этом случае, если у вас есть файл конфигурации с 4 узлами для большинства ваших работ, вы можете написать файл конфигурации с 2 узлами для работы с проблемой производительности. Таким образом, вы получите минимальное количество параллелизма (не переходя полностью в последовательность) и будете использовать минимальное количество ресурсов.
Последовательность представляет собой набор отдельных заданий.
In most cases, jobs in a sequence can be rearranged to run serially. Please check the organisation of the sequence and do a critical path analyis to remove the jobs that need not run in parallel to critical jobs.