Confluent-kafka (с kerberos) Ошибка при работе с python при отправке в режиме кластера
Я сталкиваюсь со следующей ошибкой при отправке задания Python в режиме кластера:
appcache / application_1548793257188_803870 / container_e80_1548793257188_803870_01_000001 / environment / lib / python2.7 / site-packages / confluent_kafka /init.py ", строка 2, из импорта.cimpl (потребитель, ошибка # noqa ImportError: общая объектная ошибка: lisodkaf.librdkaf. файл: нет такого файла или каталога
librdkafka и другие зависимости python устанавливаются ТОЛЬКО на пограничный узел. Перед отправкой я создаю виртуальную среду и устанавливаю pip confluent-kafka следующим образом:
pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org --no-binary :all: confluent-kafka
После этого я создаю environment.tar.gz и передаю его в spark-submit с помощью --archives
Я попытался установить свойства свечи так:
--conf spark.executorEnv.LD_LIBRARY_PATH=/usr/lib64:environment/lib/python2.7/site-packages/confluent_kafka/.libs"
--conf spark.driver.extraLibraryPath=/usr/lib64:environment/lib/python2.7/site-packages/confluent_kafka/.libs"
--conf spark.yarn.appMasterEnv.LD_LIBRARY_PATH=environment/lib/python2.7/site-packages/confluent_kafka/.libs"
Но, к сожалению, это не сработало!
Кто-нибудь сталкивался с такой же проблемой?