Отсутствует класс регистрации искры крио

Question

При форсировании регистрации крио через spark.kryo.registrationRequired", "true" в спарк 2.2 моя ошибка

Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]

даже при использовании:

.registerKryoClasses(
          Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
                classOf[org.apache.spark.sql.catalyst.InternalRow])
        )

очевидно InternalRow[] не будет компилироваться в Scala. Что мне здесь не хватает?

Answer 1

Как зарегистрировать InternalRow с Kryo в Spark, приводит меня к правильному ответу.

classOf[Array[org.apache.spark.sql.catalyst.InternalRow]]

необходимо. Однако затем, по мере продвижения вперед, необходимо добавить дополнительные классы искры.