Выполнение задачи отправки искры воздушного потока через цикл for --- Значения не повторяются
Я пытаюсь перебрать список и передать значения списка в качестве параметра моему заданию искровой отправки в Airflow. Передается первое значение, но задание заканчивается только первым значением цикла. Весь список не повторяется.
list_of_val=['first_value','second_value','third_value']
for val in list_of_val:
spark_submit_local = SparkSubmitOperator(
task_id='sample-spark-job',
conn_id='spark_default',
application='path-to-my-jar/job.jar',
application_args=[
'-e', val],
java_class='com.test.sample.job.SparkSubmitjob',
dag=dag,
schedule_interval='*/5 * * * *'
)
Итак, согласно журналам, задание отправки искры запускается со значением val, переданным как first_value, остальные значения не передаются и не повторяются. Я что-то упустил? Любой указатель на это поможет.
Спасибо Ашит