Конфиг snappy для поддержки искры в Windows

Я работаю над импортом сжатого файла json snappy в spark rdd или набор данных. Однако я встречаю эту ошибку: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

Я установил следующую конфигурацию:

SparkConf conf = new SparkConf()
            .setAppName("normal spark")
            .setMaster("local")
            .set("spark.io.compression.codec", "org.apache.spark.io.SnappyCompressionCodec")
            .set("spark.driver.extraLibraryPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
            .set("spark.driver.extraClassPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
            .set("spark.executor.extraLibraryPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
            .set("spark.executor.extraClassPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
            ;

Где D:\Downloads\spark-2.2.0-bin-hadoop2.7 - это мой распакованный путь в spark, и я могу найти файлы snappy jar snappy-0.2.jar и snappy-java-1.1.2.6.jar в

D: \ Downloads \ искрового 2.2.0-бен-hadoop2.7\ искрового 2.2.0-бен-hadoop2.7\ баночка \

Однако ничего не работает и даже сообщение об ошибке не меняется.

Как я могу это исправить?

0 ответов

Другие вопросы по тегам