Как экспортировать полный результат Databricks Azure

Question

Я экспортирую данные из блоков данных вручную с помощью опции полного результата загрузки, используя команду "display". Пример

display (predictions.select ("productid", "prediction"))

Но он возвращает только 1 000 000, у меня есть еще много записей. Есть ли какие-либо ограничения на DataBricks в отношении экспорта полного результата?

Что я могу сделать, чтобы загрузить все мои результаты?

Answer 1

Да, блоки данных отображают только ограниченный фрейм данных. Это позволяет загружать данные как CSV, но я думаю, что это также ограничено. Вы можете сохранить фрейм данных в виде таблицы в базе данных блоков данных с помощью этого:

predictions.select("productid", "prediction").write.saveAsTable("predictions")

Затем вы можете загрузить его:

predictions = spark.table('predictions')