Установка провайдеров приточного воздуха для подключений
Я настроил воздушный поток 2.5.1, используя docker Compose в EC2. Я уже перенес все подключения из предыдущей версии airflow 1.10 и установил большинство пакетов. Но у меня проблемы с некоторыми подключениями. Я установил каждый из них в планировщик, рабочий и веб-сервер.
Для подключения HDFS я установил; pip install Snakebite-py3pip install apache-airflow-providers-apache-hdfs, но установка завершается с ошибкой, так как pip только указывает на проблему подпроцесса пакета
Для подключения Snowflake я установил;pip install apache-airflow-providers-snowflake,pip install apache-airflow-providers-common-sql, pip install Snowflake-connector-python, pip install Snowflake-sqlalchemy, но он все равно не отображается в списке типов подключения
Для Hive Client Wrapper, Hive Server 2 Thrift, Hive Metastore Thriftpip install apache-airflow-providers-apache-hivepip install apache-airflow-providers-apache-hive[amazon]pip install thrift_hive_metastore, но вся установка завершается с ошибкой, так как pip проблема только с подпроцессом пакета состояния
Ошибка:
Требование уже выполнено: pure-sasl>=0.6.2 в /home/airflow/.local/lib/python3.7/site-packages (из thrift-sasl>=0.1.0->pyhive[hive]>=0.6.0->apache-airflow-providers-apache-hive->apache-airflow[hive])(0.6.2) Сборка колес для собранных пакетов: sasl Сборка колес для sasl (setup.py) ... ошибка ошибка: подпроцесс- выход с ошибкой
× python setup.py bdist_wheel не был запущен успешно. │ код выхода: 1 ╰─> [26 строк вывода] запуск bdist_wheel запуск сборки запуск build_py создание сборки создание сборки/lib.linux-x86_64-3.7 создание сборки/lib.linux-x86_64-3.7/sasl копирование sasl/ init.py -> build/lib.linux-x86_64-3.7/sasl запуск egg_info запись sasl.egg-info/PKG-INFO запись dependency_links в sasl.egg-info/dependent_links.txt запись требований в sasl.egg-info/requires.txt запись имена верхнего уровня в sasl.egg-info/top_level.txt чтение файла манифеста «sasl.egg-info/SOURCES.txt» чтение шаблона манифеста «MANIFEST.in» добавление файла лицензии «LICENSE.txt» запись файла манифеста «sasl. egg-info/SOURCES.txt' копирование sasl/saslwrapper.cpp -> build/lib.linux-x86_64-3.7/sasl копирование sasl/saslwrapper.h -> build/lib.linux-x86_64-3.7/sasl копирование sasl/saslwrapper.pyx -> build/lib.linux-x86_64-3.7/sasl запуск сборки build_ext расширение 'sasl.saslwrapper' создание сборки/temp.linux-x86_64-3.7 создание сборки/temp.linux-x86_64-3.7/saslgcc -pthread -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fPIC -Isasl -I/usr/local/include/python3.7m -c sasl/saslwrapper.cpp -o build/temp.linux-x86_64-3.7/sasl/saslwrapper.o невозможно выполнить «gcc»: ошибка отказа в доступе: команда «gcc» завершилась неудачно со статусом выхода 1[конец вывода]
введите сюда описание изображения
Другие пакеты работают нормально после установки, например, docker, mssql, mongodb и т. д.
Кто-нибудь может помочь?
заранее спасибо