Apache-spark Ошибка: не удалось выполнить задачу при записи строк в sequenceFile

Я создаю javaPairRDD и сохраняю его в sequenceFileFormat с помощью apache-spark. Версия Spark 2.3. Я запускаю это на нормальном кластере из 4 узлов, и путь также является нормальным путем hdfs. Я делаю это с использованием искрового кода (Java):

JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD <Integer> jr = sc.parallelize(Arrays.asList(1,2,3,4,5));
JavaPairRDD<NullWritable, Integer> outputData = jr.mapToPair( p -> { 
            return new Tuple2<>(NullWritable.get(), p);
        });
outputData.saveAsHadoopFile("hdfs://master:54310/user/output12",
                NullWritable.class, IntWritable.class, SequenceFileOutputFormat.class);
sc.close();

Но когда я пытаюсь запустить код, я получаю следующее исключение

org.apache.spark.SparkException: Task failed while writing rows

0 ответов

Другие вопросы по тегам