Выбрать таблицу из базы данных в R
Я использую dbplyr для выбора таблицы из удаленной базы данных с помощью Rstudio. Я связался со Spark на сервере, используя livy. Он показывает мне базы данных, которые у меня есть, но когда я пытаюсь получить доступ к одной из таблиц в одной из схем, происходит сбой.
src_databases (sc) # sc - это искровое соединение через livy. Он успешно подключается и показывает все базы данных, которые у меня есть.
Далее я хочу подключиться к таблице в одной из баз данных, используя функцию in_schema dbplyr
browser = tbl(sc, in_schema('database_name', 'table_name'))
но это дает сообщение об ошибке ниже. В чем может быть проблема? Я использую Spark в Qubole. Я также попробовал этот подход, но он не работал для меня.
Ошибка: java.lang.reflect.) в java.lang.reflect.Method.invoke(Method.java:606) в org.apache.spark.sql.hive.client.Shim_v0_13.getAllPartitions(HiveShim.scala:434) в org.apache.spark.sql.hive.client.HiveClientImpl$$anonfun$getPartitions$1.apply(HiveClientImpl.scala:527) в org.apache.spark.sql.hive.client.HiveClientImpl $$ anonfun $ getPartitions $ 1.apply (HiveClimp): org. 210) в org.apache.spark.sql.hive.client.HiveClientImpl.retryLocked(HiveClientImpl.scala:209) в org.apache.spark.sql.hive.client.HiveClientImpl.withHiveState(HiveClientImpl.scala:252) в org.apache.spark.sql.hive.client.HiveClientImpl.getPartitions(HiveClientImpl.scala:524) в org.apache.spark.sql.hive.MetastoreRelation.allPartitions$lzycompute (MetastoreRe. 150) в org.apache.spark.sql.hive.MetastoreRelation.allPartitions (MetastoreRelation.scala:150) в org.apache.spark.sql.hive.MetastoreRelation.getHiveQlPartitions(MetastoreRelation.scala:162) в org.apache.spark.sql.hive.HiveMetastoreCatalog.org$apache$spark$sql$hive$HiveMetastoreCatalog$$convertToLogicalRelation(HiveMetastoreCatalog.scala:256) в org.apache.spark.sql.hive.HiveMetastoreCatalog$ sparkache $ $ $ apache $. sql$hive$HiveMetastoreCatalog$ParquetConversions$$convertToParquetRelation(HiveMetastoreCatalog.scala:376) в org.apache.spark.sql.hive.HiveMetastoreCatalog$ParquetConversions$$anonfun$ применять $1.applyOat.aregare.alse)..spark.sql.hive.HiveMetastoreCatalog $ ParquetConversions $$ anonfun $ применять $1.applyOrElse(HiveMetastoreCatalog.scala:384) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:301) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:301) в org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:69) в org.apache.spark.sql.catalyst.trees.TreeNode.transformUp(TreeNode.scala:300) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$4.apply(TreeNode.scala:298) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$4.apply(TreeNode.scala:298) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$5.apply(TreeNode.scala:321) в org.apache.spark.sql.catalyst.trees.TreeNode.mapProductIterator(TreeNode.scala:179) в org.apache.spark.sql.catalyst.trees.TreeNode.transformChildren(TreeNode.scala:319) в org.apache.spark.sql.catalyst.trees.TreeNode.transformUp(TreeNode.scala:298) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$4.apply(TreeNode.scala:298) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$4.apply(TreeNode.scala:298) в org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$5.apply(TreeNode.scala:321) в org.apache.spark.sql.catalyst.trees.TreeNode.mapProductIterator (TreeNode.scala: 179) в org.apache.spark.sql.catalyst.trees.TreeNode.transformChildren(TreeNode.scala:319) в org.apache.spark.sql.catalyst.trees.TreeNode.transformUp(TreeNode.scala:298) в org.apache.spark.sql.hive.HiveMetastoreCatalog$ParquetConversions$.apply(HiveMetastoreCatalog.scala:384) в org.apache.spark.sql.hive.HiveMetastoreCatalog$ Parquet $. (HiveMetastoreCatalog.scala:363) в org.apache.spark.sql.catalyst.rules.RuleExecutor$$anonfun$execute$1$$anonfun$apply$1.apply(RuleExecutor.scala:85) в org.apache.spark.sql.catalyst.rules.RuleExecutor$$anonfun$execute$1$$anonfun$apply$1.apply(RuleExecutor.scala:82) в scala.collection.LinearSeqOptimized$class.foldLeft(LinearSeqOptimized.scala:124) в scala.collection.immutable.List.foldLeft(List.scala:84) в org.apache.spark.sql.catalyst.rules.RuleExecutor$$anonfun$execute$1.apply(RuleExecutor.scala:82) в org.apache.spark.sql.catalyst.rules.RuleExecutor$$anonfun$execute$1.apply(RuleExecutor.scala:74) в scala.collection.immutable.List.foreach(List.scala:381) в org.apache.spark.sql.catalyst.rules.RuleExecutor.execute(RuleExecutor.scala:74) в org.apache.spark.sql.execution.QueryExecution.analyzed$lzycompute(QueryExecution.scala:65) в org.apache.spark.sql.execution.QueryExecution.analyzed(QueryExecution.scala:63) в org.apache.spark.sql.execution.QueryExecution.assertAalytion Qual (scala:49) в org.apache.spark.sql.Dataset.(Dataset.scala:161) в org.apache.spark.sql.Dataset.(Dataset.scala:167) в org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:65) в org.apache.spark.sql.SparkSession.sql(SparkSession.scala:583) в sun.reflect.NativeMethodAccessorImpl.invoke0(собственный метод) в sun.reflect.NativeMetholAvokeI NativeMethodAccessorImpl.java:57) в sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) на java.lang.reflect.Method.invoke(Method.java:606) на $line43.$read$$iw$$iw$Invoke.invoke(:144) на $line49.$read$$iw$$iw$StreamHandler.handleMethodCall(:140) на $line49.$read$$iw$$iw$StreamHandler.read(:83) на $line112.$read$$iw$$iw$$iw$$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw$$iw$LivyUtils$.invokeFromBase64(:158) в $line172.$read$$iw$$iw$$iw$$iw$$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw.(:136) на $line172.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw.(:141) на $line172.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(:143) в $ line172. $ прочитать $$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(:145) в $ line172. $ read $$ iw $$ iw $$ iw $$ iw $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw.(:147) на $line172.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$ iw $$ iw $$ iw $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(:149) в $ line172. $ read $$ iw $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw$$iw.(:151) на $line172.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$ iw $$ iw $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(:153) в $ line172. $ read $$ iw $$ iw $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW (.:155) на $ line172. $ Read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw$$iw$$iw.(:157) на $line172.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$ iw $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ $$ IW IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(:159) в $ line172. $ read $$ iw $$ iw $$ iw $$ iw $ $ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(:161) в $ line172. $ read $$ iw $$ IW $$ $$ IW IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW $$ IW