java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Metaspace

Question

Я столкнулся с проблемой метапространства в моем проекте.

Я использую Scala IDE, в которой Spark 2.3.1, Play Framework 2.6, Scala 2.11

Во время бега sbt runЯ получаю ошибку метапространства.

Кроме того, я пытался бежать sbt clean,

Но это дает ту же ошибку:

Answer 1

Используйте Spark 2.4.0 и выше с Scala версии 2.11.11, это поможет исправить эти незначительные ошибки.

build.sbt

scalaVersion := "2.11.11"

libraryDependencies ++= Seq(
  "com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.9.8",
  "org.apache.spark" %% "spark-core" % "2.4.0",
  "org.apache.spark" %% "spark-repl" % "2.4.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "2.4.0",
)

Затем добавление jackson-module-scala поможет вам переопределить устаревшую версию в библиотеке, если когда-либо будет ошибка в версии Джексона. Дайте мне знать, если все еще есть ошибки.

Answer 2

Вы можете добавить .jvmopts файл в корневой папке вашего проекта и напишите внутри файла следующее:

      -Xms1g
-Xmx4g

Это установит максимальный пул выделения памяти на 4 гигабайта, а начальный пул выделения памяти на 1 гигабайт.