DAG Airflow Backfill застревает, первая задача находится в очереди (серый)

Question

Я пробовал просматривать похожие ответы на stackru на эту проблему, однако мой случай немного отличается.

Я выполняю задания обратной засыпки через интерфейс командной строки Airflow, и запускаемые даги засыпки застревают в рабочем состоянии, а первая задача в даге находится в очереди (сером).

Планировщик, кажется, никогда не запускает первую задачу.

Я не имею depends_on_past=True установить как dag_defaults

dag_defaults = {
    "start_date": datetime.today() - timedelta(days=2),
    "on_failure_callback": on_failure_callback,
    "provide_context": True
}

Я вынужден запускать каждую задачу вручную.:(Вместо того, чтобы позволить планировщику идти своим чередом и запускать их автоматически.

Примечание. Я выполняю команды cli обратной засыпки через рабочие модули Airflow в кластере K8S.

Кто-нибудь еще сталкивался с подобной проблемой при использовании команд cli backfill?

ОБНОВЛЕНИЕ: я понял, что мои засыпки выходят за пределы общего интервала dag. Т.е. перед дагомstart_date вызывая зависимость от графика блокировки.

Хотя вы все еще можете создать запуск, он не будет запускаться автоматически, но вы можете запускать каждую задачу вручную.

В качестве обходного пути необходимо изменить start_date быть до или в день моей самой старой засыпки.

Было бы неплохо, если бы был способ переопределить команду backfill или предоставить параметр --force, который мог бы имитировать start_date для этого конкретного dag_run, вместо привязки к общему интервалу.

Answer 1

ОБНОВЛЕНИЕ: я понял, что мои засыпки выходят за пределы общего интервала dag. Т.е. перед датой start_date, вызывающей зависимость графика блокировки.

Хотя вы все еще можете создать запуск, он не будет запускаться автоматически, но вы можете запускать каждую задачу вручную.

В качестве обходного пути необходимо изменить start_date быть до или в день моей самой старой засыпки.

Было бы неплохо, если бы был способ переопределить команду backfill или предоставить параметр --force, который мог бы имитировать start_date для этого конкретного dag_run, вместо привязки к общему интервалу.