Доступ к другому типу предустановленного целевого местоположения в Луиджи

Question

У меня есть luigiтрубопровод. Есть файл, гдеGoogle Cloud устанавливается как целевое местоположение:

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/luigi_pipeline/lib/hail_tasks.py

Теперь есть run_vep() метод, который вызывает другие, в конечном итоге вызывает следующие, разные run_vep():

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/hail_scripts/v02/utils/hail_utils.py

Там мы используем Google Cloudпуть для доступа к файлам, но теперь я хочу получить доступ к локальным файлам. Есть ли способ изменить гдеluigiфайлы временно ищет? Дело в том, что у меня есть два места, гдеluigiдолжны получить файлы и должны быть доступны оба из них, а не только один или другой. Как можно решить эту проблему вluigi?

Answer 1

Оказывается, их функция hl.vep() на самом деле ожидает config у которых должны быть локальные пути, а не hadoopед. После указания локальных путей у меня все заработало. Тем не менее было бы интересно узнать, как напрямую получить доступ к той или иной файловой системе, исходный код которойhl.vep() тоже может быть полезно.