Описание тега spark-packages
1
ответ
Включение файла JAR пакета Spark в толстый JAR, сгенерированный SBT
Проект spark-daria загружен в пакеты Spark, и я получаю доступ к коду spark-daria в другом проекте SBT с помощью плагина sbt-spark-package. Я могу включить spark-daria в толстый файл JAR, сгенерированный sbt assembly с помощью следующего кода в buil…
17 май '17 в 23:39
1
ответ
Спарк как выбрать класс из упакованной банки
Я использую плагин sbt для создания толстой фляги. Мне нужно несколько банок, которые являются частью стандартного hadoop/spark, но с более новыми версиями. Я хочу, чтобы spark worker jvm предпочел версию, поставляемую в комплекте с моим толстым jar…
18 сен '17 в 08:19
1
ответ
SPARK 2.0: искро-инфо-теоретический выбор объектов java.lang.NoSuchMethodError: breeze.linalg.DenseMatrix
Я пытаюсь использовать функцию MRMR стороннего InfoGain ( https://github.com/sramirez/spark-infotheoretic-feature-selection) пакета Spark. Но мой кластер 2.0, и я получаю это исключение. Несмотря на то, что я добавил все необходимые файлы Jar в путь…
28 мар '18 в 23:33
3
ответа
После установки sparknlp не может импортировать sparknlp
Следующее успешно выполнено на кластерном шлюзе Cloudera CDSW. import pyspark from pyspark.sql import SparkSession spark = (SparkSession .builder .config("spark.jars.packages","JohnSnowLabs:spark-nlp:1.2.3") .getOrCreate() ) Который производит этот …
07 дек '17 в 22:52
0
ответов
Не удалось найти источник данных: org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider
Версия spark - 2.3.3. Я хочу подключиться к mqtt, используя аргумент --packages в spark-shell. bin/spark-shell --packages org.apache.bahir:spark-sql-streaming-mqtt_2.11:2.3.2 scala> import java.sql.Timestamp scala> import org.apache.spark.sql.…
22 мар '19 в 13:11
0
ответов
apache-spark: как использовать внешние пакеты в Spark/Scala
Я новичок в мире Spark / Scala. Я хочу использовать сторонние пакеты SparkPackages https://github.com/databricks/spark-xml и https://github.com/databricks/spark-csv. Я проверил в файле readme и не понимаю, как это сделать. Кто-нибудь может мне объяс…
23 сен '20 в 22:58
0
ответов
Должен ли я реализовать org.apache.hadoop.fs.AbstractFileSystem или расширенный org.apache.hadoop.fs.FileSystem? [закрыто]
Мы внедряем клиент Spark для прямого доступа к lakeFS . Это уровень хранения, подобный Git (версионному), поверх какого-либо другого хранилища объектов. Мы хотели бы, чтобы наша файловая система предоставляла Spark (и другим инструментам на основе H…
25 мар '21 в 17:15
1
ответ
В чем причина LIBRARY_MANAGEMENT_FAILED при попытке запустить блокнот с пользовательской библиотекой в синапсе?
Сегодня, когда мы пытались запустить наши записные книжки, определенные в синапсе, мы постоянно получали ошибку: «LIBRARY_MANAGEMENT_FAILED». Мы используем подход из: https://docs.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-manage…
11 авг '21 в 18:17
0
ответов
Невозможно увидеть журналы StreamingLens в журнале приложений Spark
Я пытаюсь реализовать StreamingLens в моем существующем потоковом приложении. Мое приложение работает нормально и загружает данные из одной темы кафки в другую тему кафки. Но в амбари я не могу видеть отчеты StreamingLens, когда я делал это для паке…
28 сен '21 в 14:49
1
ответ
невозможно загрузить пакеты рабочей области и файлы require.txt в пул искр аналитики azure synapse
При попытке импортировать библиотеки Python на уровне пула искр, применяя загруженный файл requirements.txt и пользовательские пакеты, я получаю следующую ошибку без каких-либо других подробностей. Сведения об ошибке CreateOrUpdateSparkComputeFailed…
22 дек '21 в 16:34
1
ответ
Невозможно импортировать плагин в проект Scala.
Я добавил это в<my_project_name>/project/plugins.sbt: resolvers += "bintray-spark-packages" at "https://dl.bintray.com/spark-packages/maven/" addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.6") чтобы импортировать sbt-spark-pack…
20 мар '23 в 10:31