Я получаю 'Task not serializable', когда пытаюсь запустить пример John Snow spark-nlp в Scala

Question

Я пытался запустить пример John Snow Spark-NLP из этого репозитория:

https://github.com/JohnSnowLabs/spark-nlp/blob/master/example/src/TrainViveknSentiment.scala

на моей локальной машине. Но это бросает org.apache.spark.SparkException: Task not serializable ошибка при получении val sparkPipeline = pipeline.fit(training) в стеке тоже написано Caused by: java.io.NotSerializableException: com.johnsnowlabs.nlp.annotators.param.AnnotatorParam$SerializableFormat$

Answer 1

Я могу ошибаться, но, насколько я мог исследовать, Seq, вероятно, не является сериализуемой чертой. Таким образом, использование Array или List вместо этого для построения неизменяемой переменной обучения должно решить проблему.