HttpSensor воздушного потока не будет работать

Question

Я пытаюсь создать HttpSensor в Airflow, используя следующий код:

wait_to_launch = HttpSensor(
    task_id="wait-to-launch",
    endpoint='http://' + socket.gethostname() + ":8500/v1/kv/launch-cluster?raw",
    response_check=lambda response: True if 'oui'==response.content else False,
    dag=dag
)

Но я продолжаю получать эту ошибку:

Traceback (most recent call last):
  File "http_sensor_test.py", line 30, in <module>
    dag=dag
  File "/home/me/.local/lib/python2.7/site-packages/airflow/utils/decorators.py", line 86, in wrapper
    result = func(*args, **kwargs)
  File "/home/me/.local/lib/python2.7/site-packages/airflow/operators/sensors.py", line 663, in __init__
    self.hook = hooks.http_hook.HttpHook(method='GET', http_conn_id=http_conn_id)
  File "/home/me/.local/lib/python2.7/site-packages/airflow/utils/helpers.py", line 436, in __getattr__
    raise AttributeError
AttributeError

Что мне не хватает?

Answer 1

Вы столкнулись с известной проблемой, см. AIRFLOW-1030. Исправление было объединено ( # 2180), но, к сожалению, еще не выпущена версия воздушного потока. Исправление помечено для следующего выпуска (1.9.0), но это может занять несколько недель или месяцев. Вы можете запустить форк воздушного потока с этим изменением или добавить обновленную версию HttpSensor как пользовательский оператор (плагин).