Можно ли выполнить более быструю засыпку в Airflow?

Question

Я много об этом искал, но не смог найти какой-либо существенной информации об этом. Моя проблема в том, что у меня есть группа доступности базы данных, которая должна заполнить данные с марта 2017 года.

Итак, я поставил start_date: '01-03-2017'. Я также предоставил schedule_interval как ежедневный. Теперь я знаю, что моя DAG начнет работать с марта 2017 года с заданным графиком. Но если мой dag будет следовать графику ежедневно, то для достижения текущей даты потребуется более 2 лет

Я не могу ждать 2 года, чтобы получить прошлые данные. Я хочу, чтобы моя группа обеспечения доступности баз данных завершила обратную засыпку как можно скорее, чтобы моя группа доступности базы данных улавливала текущее время и начинала составлять расписание каждый день. Как мне этого добиться? Могу ли я указать max_active_runs для большого числа, чтобы запланировать несколько DAGRuns одновременно?

Answer 1

В случае обратной засыпки ваш DAG не будет работать только по расписанию. Он будет выполнять ежедневные задачи в прошлом, но они будут выполняться одновременно до тех пор, пока не будут выполнены все задачи обратной засыпки. Только дата выполнения для каждого из этих запусков будет датой в прошлом. Как только он достигнет текущей даты, он будет продолжать работу в соответствии с расписанием.