Использование pyspark с pybuilder

Question

Мы устанавливаем pybuilder для нового проекта больших данных. Мы должны проверить, что некоторые классы создают правильные распределенные таблицы. Как следствие, мы создали несколько юнитов, которые проходят при запуске их на eclipse/pydev. Я успешно запускаю независимые модульные тесты, но когда я объявляю тест с использованием pyspark, у меня появляется длинный список исключений Java, начинающийся с:

ERROR Utils:91 - Aborting task
ExitCodeException exitCode=-1073741515:
 at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)

Это мой файл build.py:

from pybuilder.core import use_plugin
from pybuilder.core import init
import sys
import os


sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python\lib\py4j-0.10.7-src.zip'))
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python'))

use_plugin("python.core")
use_plugin("python.unittest")
use_plugin("python.install_dependencies")

default_task = "publish"

Мы используем pyspark 2.3.1 и python 3.7. Что я делаю неправильно?

Answer 1

Решением для меня было запустить winutils CHMOD 777 -R в моем рабочем пространстве после установки распространяемого пакета Microsoft Visual C++ 2010