Как добавить модуль Python из директории site-package conda для spark-submit?

Question

Мне нужно запустить приложение PySpark (v1.6.3). Здесь --py-files флаг для добавления файлов.zip, .egg или.py. Если бы у меня был пакет / модуль Python в /usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzyКак бы я включил весь этот модуль?

Внутри этого каталога я заметил некоторые файлы *.py и *.pyc.

• fuzz.py
• process.py
• StringMatcher.py
• string_processing.py
• utils.py

Должен ли я включить каждого из них по одному? Например.

spark-submit \
 --py-files /usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/fuzz.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/process.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/StringMatcher.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/string_processing.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/utils.py

Есть ли более простой способ?

• я должен попытаться найти.egg или.zip и использовать его (например, pypi)?
• могу я просто заархивировать этот каталог и передать его?

Любые советы или указатели будут с благодарностью. На самом деле, есть еще несколько модулей Python, управляемых conda, которые мне нужны.

Answer 1

Я предлагаю сделать это в другом направлении. Установка pyspark Анаконде с:

conda install -c conda-forge pyspark=2.1.1