Проблема с импортом файла в блокнот Databricks

Question

Я пытаюсь импортировать файл.txt со своего локального компьютера в записную книжку (scala). Захожу в раздел данных и нажимаю "добавить данные". На верхней панели выбрана опция "загрузить файл", я нажимаю "Обзор", чтобы найти файл, а затем "Создать таблицу в блокноте". Затем я получаю путь к файлу, но когда я пытаюсь получить доступ к данным в другой записной книжке с помощью команды "val file_location = "/FileStore/tables/....txt", я получаю"java.io.FileNotFoundException: /FileStore/tables/....txt (Нет такого файла или каталога)". Кто-нибудь знает, что я здесь делаю неправильно и что мне делать вместо этого?

С уважением

Answer 1

Формат должен быть textне txt. См. Документацию:

scala> val df = spark.read.format("text").load("README.md")
df: org.apache.spark.sql.DataFrame = [value: string]

scala> df.count
res0: Long = 104

Или вы можете использовать spark.read.textFile функция, которая действительно является сокращением для этого:

scala> spark.read.textFile("README.md").count
res1: Long = 104