Пытаюсь записать файлы в папку dags

Question

пытается создать папки и записать файлы в папку dags в ведре gcs через воздушный поток, используя следующий код Python:

      Path(f'/home/airflow/gcs/dags/API/config').mkdir(parents=True, exist_ok=True)
with open(file='/home/airflow/gcs/dags/API/config/config.json', mode = 'w') as out_file:
        out_file.write(json_string)

Никакой ошибки не возникает, но при этом ни одна папка и файл нигде не создаются. попытка того же метода с каталогом данных действительно работает

Answer 1

Вы пишете файлы локально, папка и файлы создаются только на рабочей машине.

По замыслу вы предоставляете DAG для Airflow для выполнения задач. В Composer каталог DAG читается только из GCS и дублируется на виртуальные машины Composer. Если вы напишете на нем, вы не ответите на GCS. Это не то же самое для данных.

Если вы хотите писать в каталог DAG, пишите в GCS, а не в локальный каталог.