Как получить доступ к таблицам RDD с помощью Spark SQL как хранилища данных SnowFlake JDBC Distributed Query Engine?

Question

Привет, я хочу запросить мою временную таблицу базы данных из снежной базы.

Как, например, Как получить доступ к таблицам RDD через Spark SQL как механизм распределенных запросов JDBC?

Есть ли способ сделать это из базы данных снежинок, работающих на AWS?

Answer 1

Просто чтобы подтвердить - вы хотите, чтобы Snowflake запросила RDD, созданный Spark?

Невозможно подключиться из Snowflake к Spark и запросить RDD Spark из Snowflake. Но вы можете подключиться из Spark в Snowflake, скопировать RDD в Snowflake и затем запросить его либо из Spark (например, используя Utils.runQuery() или из снежинки напрямую.

Больше информации, с примерами, в документации Snowflake

PS Снежинка это одно слово:)