получение ошибки при использовании оператора livybatch в Airflow, сбой DAG

Может ли кто-нибудь помочь мне в этом при использовании livybatchoperator в Airflow, ниже мой код... кроме того, какой другой способ запустить искровую работу в воздушном потоке, кроме искрового оператора, в моем случае искра установлена ​​на другой машине.

Я получаю такую ​​ошибку: Getting Error in Airflow UI - "No module named 'airflow_livy'".

```    
    from datetime import datetime, timedelta
    from airflow_livy.batch import LivyBatchOperator
    from airflow.contrib.operators.spark_submit_operator import SparkSubmitOperator
    from airflow.models import DAG
    
    default_args = {
        'owner': 'airflow',
        'start-date': datetime(2020, 8, 4),
        'retires': 0,
        'catchup': False,
        'retry-delay': timedelta(minutes=5),
    }
    
    
    
    
    dag_config: DAG = DAG(
        'Airflow7', description='Hello world example', schedule_interval='0 12 * * *',
        start_date=datetime(2020, 8, 4), catchup=False)
    
    
    
    
    livy_Operator_SubmitTask = LivyBatchOperator(
        task_id='spark-submit_job_livy',
        class_name='Class name ',
        file='File path of my jar',
        arguments=['Test'],
        verify_in='spark',
        dag=dag_config
    )
    
    
    
    livy_Operator_SubmitTask```

1 ответ

Попробуйте вместо этого импортировать это пространство имен:

      from airflow.providers.apache.livy.operators.livy import LivyOperator

Найдено по ссылке : https://github.com/apache/airflow/blob/master/airflow/providers/apache/livy/example_dags/example_livy.py

Другие вопросы по тегам