Как создать фреймы данных из файла Amazon Ion в Spark с помощью python/scala?

Question

Я пытаюсь создать фреймворк из файла формата Amazon ion. Но в искре я не нашел формата для типа иона. Итак, я использовал формат json для загрузки файла ion, но он выдает ошибку. Есть ли способ создать фрейм данных из ионного файла.

Я пробовал с кодом ниже

val df = spark.read .format("json") .load("file:/home/mohan/Downloads/test_journal.ion")

Answer 1

Краткий ответ: нет, по крайней мере, изначально.
Ion - это проприетарный формат от Amazon, в котором есть парсеры на C, java, JS и Python. Вам нужно указать Spark, как как-то разобрать этот формат.

Вы можете создать свой собственный DataFrame, расширив API и подписавшись на этот пост