Есть ли способ записать фрейм данных Spark в файл .dat?

Question

Я пробовал это, но это не сработало. Насколько я понимаю,Spark не поддерживает .datформат файла. Я не хочу записывать файл как.csv или .json, а затем преобразовать через сценарий оболочки позже.

a.write.format("dat").save(outputPath)

Answer 1

Функция формата Spark не принимает в качестве аргумента "dat". Дополнительную информацию можно найти в документации: https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html

Извините, но самое простое, что вы можете сделать, - это создать csv и преобразовав его в dat позже.