Получить значения из набора данных<Row> в файл.txt (используя Java)

Я новичок здесь, поэтому я надеюсь помочь вам и помочь, если это возможно.

Я сделал проект Apache Spark, используя Spark SQL и ML Spark на Java. Я закончил этот проект, но у меня есть некоторые проблемы с выводом.

у меня есть Dataset<Row> final (final - это имя набора данных) с некоторой информацией. Когда я использую show() с этим набором данных (finals.show();) Получаю следующую информацию:

    [2018026,1,9.93,127.66,5.16,245.8,4.426875,6.91]
    [2018026,1,9.97,127.89,5.36,244.8,4.426875,6.91]
    [2018026,1,6.76,113.54,6.42,228.8,4.426875,6.91]
    [2018026,1,6.92,114.2,6.81,224.0,4.426875,6.91]
    [2018026,1,6.86,113.98,6.65,226.0,4.426875,6.91]
    [2018026,1,6.81,113.76,6.58,227.4,4.426875,6.91]
    [2018026,1,6.97,113.49,6.58,225.8,4.426875,6.91]
    [2018026,1,6.97,114.42,6.67,221.6,4.426875,6.91]

("," Является разделителем между полями). Ну, я пытаюсь получить этот вывод в текстовом файле, например projectSpark.txt, но это невозможно для меня. Как я могу получить эту информацию в текстовом файле? Должен ли я перебрать Dataset<Row> или есть какие-то способы сделать это?

Большое спасибо, ребята.

С уважением.

Источник

1 ответ

Решение

В Java вы можете сделать что-то вроде этого:

finals.javaRDD().map(x -> x.toString()).saveAsTextFile("your/path");

Это сохранит ваш набор данных в одном текстовом файле.

Источник
Другие вопросы по тегам