Корень TFX в примере такси TFX

Question

Что это _tfx_root в примере чикагского такси обратитесь и зачем это нужно?

Я говорю об этой строке: https://github.com/tensorflow/tfx/blob/master/examples/chicago_taxi_pipeline/taxi_pipeline_simple.py

Конечные конвейеры метаданных заканчиваются в ~/tfx, но без локальной копии репозитория tfx git он не запускается в Airflow (локально).

Каталог метаданных создается при запуске airflow initdbпосле того, как вы вручную скопировали конвейерный файл Python в $AIRFLOW_HOME/dags/blabla каталог. Было бы неплохо иметь возможность настроить местоположение ~/tfx хоть. Есть идеи как?

Answer 1

code:- _tfx_root = os.path.join(os.environ['HOME'], 'tfx'); 

Он используется для определения относительного пути к каталогу с именем 'tfx', который создается в домашнем каталоге (если он не существует) зарегистрированного пользователя. в котором HOME является переменной окружения.

code:- _pipeline_root = os.path.join(_tfx_root, 'pipelines');

используйте относительный путь для создания / добавления дочерних каталогов "pipelines" к пути tfx_root.

code:- _metadata_db_root = os.path.join(_tfx_root, 'metadata');

используйте относительный путь для создания / добавления дочернего каталога "метаданные" к пути tfx_root.

code:- _log_root = os.path.join(_tfx_root, 'logs');

используйте относительный путь для создания / добавления дочерних каталогов "logs" к пути tfx_root.

Answer 2

Это путь к каталогу данных. Эта переменная используется только для построения пути конвейера, метаданных и корневых каталогов.

_tfx_root = os.path.join(os.environ['HOME'], 'tfx');        // Create location ~/tfx
_pipeline_root = os.path.join(_tfx_root, 'pipelines');      // Join ~/tfx/pipelines/
_metadata_db_root = os.path.join(_tfx_root, 'metadata');    // Join ~/tfx/metadata/
_log_root = os.path.join(_tfx_root, 'logs');                // Join ~/tfx/logs/

Просто изменить _tfx_root изменить местоположение ~/tfx, Если вы хотите, чтобы местоположение было C:/temp/tfx, Используйте это, например.

_tfx_root = 'C:/temp/tfx/';