Java Spark, как сохранить JavaPairRDD<HashSet <String>, HashMap<String, Double >> в файл?

Question

Я получил этоJavaPairRDD<HashSet<String>, HashMap<String, Double>>"СДР после некоторых сложных агрегаций, хочу сохранить результат в файл. Я считаю, saveAsHadoopFile хороший API для этого, но у меня проблемы с заполнением параметров для saveAsHadoopFile(path, keyClass, valueClass, outputFormatClass, CompressionCodec), Кто-нибудь может помочь?

Answer 1

Вы можете использовать следующую функцию, а затем проанализировать ее до желаемого результата.

rdd.saveAsTextFile ("hdfs:///complete_path_to_hdfs_file/");

но если вы хотите использовать API-интерфейс saveAsHadoopFile, можно использовать следующий метод.

saveAsHadoopFile(complete_path_to_file, HashSet.class, HashMap.class, TextOutputFormat.class)

Вы также можете использовать HadoopOutputFormat.class как последний параметр

Для получения дополнительной информации, вы можете обратиться по этой ссылке HadoopFile