Airflow — невозможно использовать шаблон jinja для ресурсов в задаче Kubernetes Pod Operator

Question

Airflow — невозможно использовать шаблон jinja для ресурсов в задаче Kubernetes Pod Operator. Возможность использовать шаблон jinja для переменных среды, изображения, но не может использовать ресурсы для указания ЦП и памяти (запрос и ограничение).

Answer 1

Это происходит потому, что это не шаблонное поле (см. исходный код ). Вы по-прежнему можете получить желаемую функциональность, создав собственный оператор как:

      from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
class MyKubernetesPodOperator(KubernetesPodOperator):
    template_fields = KubernetesPodOperator.template_fields + ('resources',)
    

Сейчас в MyKubernetesPodOperatorв resourcesПараметр является шаблонным, и вы можете использовать синтаксис Jinja с ним.