Как добавить любую новую библиотеку, такую ​​как spark-csv, в готовую версию Apache Spark

Question

Я собрал Spark-CSV и могу использовать то же самое из оболочки pyspark, используя следующую команду

bin/spark-shell --packages com.databricks:spark-csv_2.10:1.0.3

ошибка при получении

>>> df_cat.save("k.csv","com.databricks.spark.csv")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/abhishekchoudhary/bigdata/cdh5.2.0/spark-1.3.1/python/pyspark/sql/dataframe.py", line 209, in save
    self._jdf.save(source, jmode, joptions)
  File "/Users/abhishekchoudhary/bigdata/cdh5.2.0/spark-1.3.1/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py", line 538, in __call__
  File "/Users/abhishekchoudhary/bigdata/cdh5.2.0/spark-1.3.1/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py", line 300, in get_return_value
py4j.protocol.Py4JJavaError

Где я должен поместить jar-файл в предустановленную настройку spark, чтобы получить доступ spark-csv непосредственно из редактора python.

Answer 1

В то время я использовал spark-CSV, мне также пришлось скачать commons-csv кувшин (не уверен, что он все еще актуален). Обе банки где в папке раздачи искры.

1. Я скачал банки следующим образом:

   wget http://search.maven.org/remotecontent?filepath=org/apache/commons/commons-csv/1.1/commons-csv-1.1.jar -O commons-csv-1.1.jar<br/>    
   wget http://search.maven.org/remotecontent?filepath=com/databricks/spark-csv_2.10/1.0.0/spark-csv_2.10-1.0.0.jar -O spark-csv_2.10-1.0.0.jar
   

2. Затем запустили оболочку Python с аргументами:

   ./bin/pyspark --jars "spark-csv_2.10-1.0.0.jar,commons-csv-1.1.jar"
   

3. и прочитайте спарк-фрейм из файла CSV:

   from pyspark.sql import SQLContext<br/>
   sqlContext = SQLContext(sc)<br/>
   df = sqlContext.load(source="com.databricks.spark.csv", path = "/path/to/you/file.csv")<br/>
   df.show()
   

Answer 2

Другой вариант - добавить следующее в ваш файл spark-defaults.conf:

spark.jars.packages com.databricks:spark-csv_2.11:1.2.0

Answer 3

Вместо того, чтобы помещать jar-файлы в какую-либо конкретную папку, простым решением было бы запустить оболочку pyspark со следующими аргументами:

bin/pyspark --packages com.databricks:spark-csv_2.10:1.0.3

Это автоматически загрузит необходимые банки spark-csv.

Затем выполните следующие действия, чтобы прочитать файл csv:

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('file.csv')
df.show()

Answer 4

Предполагая, что сессия / контекст еще не были созданы:

import os

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.databricks:spark-csv_2.10:1.3.0 pyspark-shell'

Answer 5

Сначала узнай путь искры. например для pyspark

    which pyspark

он вернет вам путь, например, вот так - / home / ubuntu / bin / pyspark

затем выполните эту команду, изменив путь в соответствии с вашим искровым путем general-: path --packages com.databricks:spark-csv_2.10:1.0.3

    /home/ubuntu/bin/pyspark --packages com.databricks:spark-csv_2.10:1.0.3

Answer 6

Ниже мне помогла команда -: С версией Scala 2.10

/opt/mapr/spark/spark-1.5.2/bin/spark-shell --master local[*] --packages com.databricks:spark-csv_2.10:1.4.0

Имеет ниже зависимости -:

com.databricks#spark-csv_2.10;1.4.0!spark-csv_2.10.jar (2043ms)
org.apache.commons#commons-csv;1.1!commons-csv.jar (419ms)
com.univocity#univocity-parsers;1.5.1!univocity-parsers.jar (1481ms)