Как установить кодировщики для строки, LabeledPointData в Spark?
public static Dataset<LabeledPoint> convertRDDStringToLabeledPoint(Dataset<String> data,String delimiter) {
Dataset<LabeledPoint> labeledPointData = data.map(
(data1)->{
String splitter[] = data1.split(delimiter);
double[] arr = new double[splitter.length - 1];
IntStream.range(0,arr.length).forEach(i->arr[i]=Double.parseDouble(splitter[i+1]));
return new LabeledPoint(Double.parseDouble(splitter[0]), Vectors.dense(arr));
},Encoders.???);
return labeledPointData;
}
Как установить кодировщики для LabeledPointData, которые являются комбинацией двойных, векторов двойных. Как настроить кодировщики для создания DataFrame?
1 ответ
LabeledPoint
это тематический класс в Scala, так что я думаю, что это Encoders.product[LabeledPoint]
,
(Я не знаю, как написать это на Java)