получение ошибки при использовании оператора livybatch в Airflow, сбой DAG
Может ли кто-нибудь помочь мне в этом при использовании livybatchoperator в Airflow, ниже мой код... кроме того, какой другой способ запустить искровую работу в воздушном потоке, кроме искрового оператора, в моем случае искра установлена на другой машине.
Я получаю такую ошибку: Getting Error in Airflow UI - "No module named 'airflow_livy'"
.
```
from datetime import datetime, timedelta
from airflow_livy.batch import LivyBatchOperator
from airflow.contrib.operators.spark_submit_operator import SparkSubmitOperator
from airflow.models import DAG
default_args = {
'owner': 'airflow',
'start-date': datetime(2020, 8, 4),
'retires': 0,
'catchup': False,
'retry-delay': timedelta(minutes=5),
}
dag_config: DAG = DAG(
'Airflow7', description='Hello world example', schedule_interval='0 12 * * *',
start_date=datetime(2020, 8, 4), catchup=False)
livy_Operator_SubmitTask = LivyBatchOperator(
task_id='spark-submit_job_livy',
class_name='Class name ',
file='File path of my jar',
arguments=['Test'],
verify_in='spark',
dag=dag_config
)
livy_Operator_SubmitTask```
1 ответ
Попробуйте вместо этого импортировать это пространство имен:
from airflow.providers.apache.livy.operators.livy import LivyOperator
Найдено по ссылке : https://github.com/apache/airflow/blob/master/airflow/providers/apache/livy/example_dags/example_livy.py