СПАРК - Сборка Sbt не завершена

Я пытаюсь создать толстую банку, используя искру. Проблема в том, что процесс упаковки банок с жиром никогда не заканчивается. Это просто застряло на долгое время. Он просто говорит, что package /abc.jar, и никогда не кажется, что идет к завершению. Ниже приведены мои параметры сборки и зависимости.

lazy val assemblySettings = Seq(
  assemblyJarName in assembly := name.value + ".jar",
  assemblyOption in assembly := (assemblyOption in assembly).value.copy(cacheUnzip = false),
  assemblyOption in assembly := (assemblyOption in assembly).value.copy(cacheOutput = false),
  assemblyMergeStrategy in assembly := {
    case PathList("META-INF", xs @ _*) => MergeStrategy.discard
    case _                             => MergeStrategy.first
  }
)

Это мои зависимости

  val sparkSql = "org.apache.spark" %% "spark-sql" % "2.3.0"
  val sparkCore = "org.apache.spark" %% "spark-core" % "2.3.0"
  val sparkRedShift = "com.databricks" %% "spark-redshift" % "0.5.0"
  val sparkHive = "org.apache.spark" %% "spark-hive" % "2.3.0"

  val log4j =  "log4j" % "log4j" % "1.2.17"
  val liftJson = "net.liftweb" %% "lift-json" % "3.3.0-M2"

  val scalaTest = "org.scalatest" %% "scalatest" % "3.0.4" % Test

  val awsSdk = "com.amazonaws" % "aws-java-sdk" % "1.11.289"
  val awsHadoop = "org.apache.hadoop" % "hadoop-aws" % "3.1.0"

  val testDependencies = Seq(scalaTest)
  val awsDependencies = Seq(awsSdk,awsHadoop)
  val sparkDependencies = Seq(sparkCore,sparkHive,sparkSql,sparkRedShift)


  lazy val pipelineCoreDependencies = Seq(liftJson,log4j) ++ testDependencies ++ sparkDependencies ++ awsDependencies

0 ответов

Другие вопросы по тегам