Каталог данных клея AWS, временные таблицы и Apache Spark createOrReplaceTempView

Согласно документации по каталогу данных клея AWS https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

Временные таблицы не поддерживаются.

Это не понятно мне или под Temporary tables Я также могу рассмотреть Temporary views которые могут быть созданы в Apache Spark через DataFrame.createOrReplaceTempView метод?

Итак, другими словами - я не могу использовать DataFrame.createOrReplaceTempView метод с AWS Glue и AWS Glue Data Catalog, я прав? Я могу работать только с постоянными таблицами / просмотром с помощью AWS Glue и AWS Glue Data Catalog и должен использовать кластер AWS EMR для полнофункциональной функции Apache spark?

Источник

1 ответ

Решение

Вы можете использовать DataFrame.createOrReplaceTempView() в AWS Glue. Вы должны преобразовать динамический кадр в информационный, используя toDF().

Но эти представления останутся в области вашего текущего экземпляра работы склеивания и не будут доступны из других работ склеивания или других экземпляров той же работы или Афины

Источник
Другие вопросы по тегам