СПАРК - Сборка Sbt не завершена
Я пытаюсь создать толстую банку, используя искру. Проблема в том, что процесс упаковки банок с жиром никогда не заканчивается. Это просто застряло на долгое время. Он просто говорит, что package /abc.jar, и никогда не кажется, что идет к завершению. Ниже приведены мои параметры сборки и зависимости.
lazy val assemblySettings = Seq(
assemblyJarName in assembly := name.value + ".jar",
assemblyOption in assembly := (assemblyOption in assembly).value.copy(cacheUnzip = false),
assemblyOption in assembly := (assemblyOption in assembly).value.copy(cacheOutput = false),
assemblyMergeStrategy in assembly := {
case PathList("META-INF", xs @ _*) => MergeStrategy.discard
case _ => MergeStrategy.first
}
)
Это мои зависимости
val sparkSql = "org.apache.spark" %% "spark-sql" % "2.3.0"
val sparkCore = "org.apache.spark" %% "spark-core" % "2.3.0"
val sparkRedShift = "com.databricks" %% "spark-redshift" % "0.5.0"
val sparkHive = "org.apache.spark" %% "spark-hive" % "2.3.0"
val log4j = "log4j" % "log4j" % "1.2.17"
val liftJson = "net.liftweb" %% "lift-json" % "3.3.0-M2"
val scalaTest = "org.scalatest" %% "scalatest" % "3.0.4" % Test
val awsSdk = "com.amazonaws" % "aws-java-sdk" % "1.11.289"
val awsHadoop = "org.apache.hadoop" % "hadoop-aws" % "3.1.0"
val testDependencies = Seq(scalaTest)
val awsDependencies = Seq(awsSdk,awsHadoop)
val sparkDependencies = Seq(sparkCore,sparkHive,sparkSql,sparkRedShift)
lazy val pipelineCoreDependencies = Seq(liftJson,log4j) ++ testDependencies ++ sparkDependencies ++ awsDependencies