Установите Spark, используя ошибки sparklyr и spark_install
Я пытаюсь установить spark, используя sparklyr и
spark_install
и я получаю следующую ошибку.
C:\dsvm\tools\UnxUtils\usr\local\wbin\tar.exe: Cannot use compressed or remote archives
C:\dsvm\tools\UnxUtils\usr\local\wbin\tar.exe: Error is not recoverable: exiting now
running command 'tar.exe -zxf "C:\Users\MyPC\AppData\Local\rstudio\spark\Cache/spark-2.0.1-bin-hadoop2.7.tgz" -C "C:/Users/LeviVM/AppData/Local/rstudio/spark/Cache"' had status 2�tar.exe -zxf "C:\Users\MyPC\AppData\Local\rstudio\spark\Cache/spark-2.0.1-bin-hadoop2.7.tgz" -C "C:/Users/LeviVM/AppData/Local/rstudio/spark/Cache"� returned error code 2Installation complete.
cannot open file 'C:\Users\MyPc\AppData\Local\rstudio\spark\Cache/spark-2.0.1-bin-hadoop2.7/conf/log4j.properties': No such file or directoryFailed to set logging settingscannot open file 'C:\Users\MyPc\AppData\Local\rstudio\spark\Cache/spark-2.0.1-bin-hadoop2.7/conf/hive-site.xml': No such file or directoryFailed to apply custom hive-site.xml configuration
Затем я скачал искру из Интернета и использовал
spark_install_tar
Это дает мне ту же ошибку:
C:\dsvm\tools\UnxUtils\usr\local\wbin\tar.exe: Cannot use compressed or remote archives
C:\dsvm\tools\UnxUtils\usr\local\wbin\tar.exe: Error is not recoverable: exiting now
Любой совет?
Заранее спасибо.
2 ответа
Когда я обновил sparklyr используя
devtools::install_github("rstudio/sparklyr")
Проблема ушла
spark_install_tar(tarfile = "путь / к /spark_hadoop.tar")
если вы по-прежнему получаете сообщение об ошибке, распакуйте tar и установите переменную окружения spark_home в положение пути unctar spark_hadoop.
Затем попробуйте выполнить следующее в консоли R. библиотека (sparklyr) sc <- spark_connect (master = "local")