Apache Spark: считывание файла GRIB2 в RDD
Есть ли возможность прочитать файл GRIB2 из HDFS в RDD через Spark API? я нашел JavaContext.binaryFiles
, но возвращенный RDD содержит загадочные данные (не читаемые человеком). Я использую Spark 1.6.1 и API Java. Спасибо!
String inputFile = "hdfs://hdfs:8020/data/testdata.bin";
SparkConf sparkConf = SparkConfFactory.createSparkConf("WeatherData");
JavaSparkContext sc = new JavaSparkContext(sparkConf);
JavaPairRDD<String, PortableDataStream> inputRdd = sc.binaryFiles(inputFile);
List<Tuple2<String, PortableDataStream>> asList = inputRdd.collect();
for(Tuple2<String, PortableDataStream> a : asList) {
System.out.println(a._1()); // Key = File path
DataInputStream in = new DataInputStream(a._2().open());
BufferedReader d = new BufferedReader(new InputStreamReader(in));
while(d.ready()) {
System.out.println(d.readLine()); // Cryptic output
}
}