Настроить конвейер с пользовательским конфигом в luigi
Вот хороший частичный ответ на мою проблему: гибкий конвейер Luigi и передача параметров на всем протяжении
У меня такой же конвейер, но я хочу настроить его с помощью пользовательского конфига (не luigi.cfg)
/ taskC -> taskB -> taskA
- taskC -> taskB -> taskA
\ taskC -> taskB -> taskA
Файл конфигурации выглядит так:
[servername]
username=name
password=password
[servername2]
username=name2
password=password2
[servername3]
username=name3
password=password3
Итак, я начал так:
class configure(luigi.WrapperTask):
configname = luigi.Parameter()
def run(self):
with self.input().open('r') as file ini:
for i in sections:
# read section from ini
def requires(self):
tasks = []
# here I also need for-loop
return tasks
Пожалуйста, помогите реализовать: FOR-LOOP 1. прочитать INI-файл 2. прочитать следующий раздел 3. сделать рабочий процесс 4. перейти к 1 /FOR-LOOP