Настроить конвейер с пользовательским конфигом в luigi

Вот хороший частичный ответ на мою проблему: гибкий конвейер Luigi и передача параметров на всем протяжении

У меня такой же конвейер, но я хочу настроить его с помощью пользовательского конфига (не luigi.cfg)

/ taskC -> taskB -> taskA 
- taskC -> taskB -> taskA 
\ taskC -> taskB -> taskA

Файл конфигурации выглядит так:

[servername]
username=name
password=password

[servername2]
username=name2
password=password2

[servername3]
username=name3
password=password3

Итак, я начал так:

class configure(luigi.WrapperTask):
    configname = luigi.Parameter()
        def run(self):
            with self.input().open('r') as file ini:
                for i in sections:
                    # read section from ini 

        def requires(self):
            tasks = []
            # here I also need for-loop
            return tasks

Пожалуйста, помогите реализовать: FOR-LOOP 1. прочитать INI-файл 2. прочитать следующий раздел 3. сделать рабочий процесс 4. перейти к 1 /FOR-LOOP

0 ответов

Другие вопросы по тегам