Конфиг snappy для поддержки искры в Windows
Я работаю над импортом сжатого файла json snappy в spark rdd или набор данных. Однако я встречаю эту ошибку: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z
Я установил следующую конфигурацию:
SparkConf conf = new SparkConf()
.setAppName("normal spark")
.setMaster("local")
.set("spark.io.compression.codec", "org.apache.spark.io.SnappyCompressionCodec")
.set("spark.driver.extraLibraryPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
.set("spark.driver.extraClassPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
.set("spark.executor.extraLibraryPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
.set("spark.executor.extraClassPath","D:\\Downloads\\spark-2.2.0-bin-hadoop2.7\\spark-2.2.0-bin-hadoop2.7\\jars")
;
Где D:\Downloads\spark-2.2.0-bin-hadoop2.7 - это мой распакованный путь в spark, и я могу найти файлы snappy jar snappy-0.2.jar и snappy-java-1.1.2.6.jar в
D: \ Downloads \ искрового 2.2.0-бен-hadoop2.7\ искрового 2.2.0-бен-hadoop2.7\ баночка \
Однако ничего не работает и даже сообщение об ошибке не меняется.
Как я могу это исправить?