Выполнение задачи отправки искры воздушного потока через цикл for --- Значения не повторяются

Я пытаюсь перебрать список и передать значения списка в качестве параметра моему заданию искровой отправки в Airflow. Передается первое значение, но задание заканчивается только первым значением цикла. Весь список не повторяется.

list_of_val=['first_value','second_value','third_value']

for val in list_of_val:
    spark_submit_local = SparkSubmitOperator(
            task_id='sample-spark-job',
            conn_id='spark_default',
            application='path-to-my-jar/job.jar',
            application_args=[
                    '-e', val],
            java_class='com.test.sample.job.SparkSubmitjob',
            dag=dag,
            schedule_interval='*/5 * * * *'
    )

Итак, согласно журналам, задание отправки искры запускается со значением val, переданным как first_value, остальные значения не передаются и не повторяются. Я что-то упустил? Любой указатель на это поможет.

Спасибо Ашит

0 ответов

Другие вопросы по тегам