Невозможно импортировать плагин в проект Scala.

Question

Я добавил это в<my_project_name>/project/plugins.sbt:

      resolvers += "bintray-spark-packages" at "https://dl.bintray.com/spark-packages/maven/"

addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.6")

чтобы импортировать sbt-spark-packages, но sbt сообщает мне: «Ошибка извлечения структуры: статус сборки: ошибка».

Я пробовал использовать другой плагин, но поведение всегда одинаковое.

версия сбт: 1.8.2

версия скалы: 2.13.10

Answer 1

Посмотреть билет

dl.bintray.com/spark-packages/maven запрещен https://github.com/databricks/sbt-spark-package/issues/50

В Бинтрэе уже закат.

Bintray устарел.

https://spark-packages.org/package/databricks/sbt-spark-package

Этот пакет не имеет выпусков, опубликованных в репозитории пакетов Spark или с предоставленными координатами maven. Возможно, вам придется собрать этот пакет из исходного кода или это может быть просто скрипт.

Делать

      git clone https://github.com/databricks/sbt-spark-package.git
cd sbt-spark-package
git reset --hard v0.2.6
sbt package

Теперь вы можете найти JAR по адресуsbt-spark-package/target/scala-2.10/sbt-0.13/sbt-spark-package-0.2.6.jar.

Делатьsbt publishLocalи он будет опубликован на~/.ivy2/local/org.spark-packages/sbt-spark-package/scala_2.10/sbt_0.13/0.2.6/jars/sbt-spark-package.jar.

Теперь вы можете использовать этот плагин sbt в своем проекте:

build.sbt

      lazy val root = (project in file("."))
  .settings(
    name := "scalademo",
    scalaVersion := "2.11.12"
  )

проект/build.properties

      sbt.version = 0.13.18

проект/plugins.sbt

      addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.6")

Обратите внимание, что это плагин для sbt 0.13.x, а не для sbt 1.x.

Поддержка SBT 1.x https://github.com/databricks/sbt-spark-package/issues/40

Чтобы использовать плагин с sbt 1.8.2 и Scala 2.13.10, вам придется обновить его самостоятельно.

Более того,sbt-spark-packageкажется устаревшим, заброшенным, устаревшим

java.lang.NoSuchMethodError: sbt.UpdateConfiguration.copy$default$1()Lscala/Option https://github.com/databricks/sbt-spark-package/issues/51

Этот плагин устарел? https://github.com/databricks/sbt-spark-package/issues/48