SAP HANA Vora не видит содержимое таблицы в Scala
Невозможно увидеть данные в Scala с помощью Vora.
VORA: 1.2 Искра: 1.5.2 / Контроллер искры: 1.5.8
Файл hdfs "content" показывает нормально.
hdfs dfs -cat / user / vora / XXXXXXXX / part-00000 AB05,560 CD06,340 EF07,590 GH08,230
Таблица отображается нормально в команде "show datasourcestables"
scala> vc.sql(s"""ПОКАЗАТЬ ИСТОЧНИКИ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ com.sap.spark.vora""".stripMargin).show Выходные данные
Ошибка отображениятаблицы в Scala scala> vc.sql ("выбрать * из VVCSV"). Show
scala> vc.sql ("выбрать * из VVCSV"). show
java.lang.RuntimeException: таблица не найдена: VVCSV в scala.sys.package$.error(package.scala:27) в>org.apache.spark.sql.catalyst.analysis.SimpleCatalog.lookupRelation(Catalog.scala:139) at >org.apache.spark.sql.extension.ExtendableSQLContext$$anon$2.org$apache$spark$sql$ катализатор $ анализ $OverrideCatalog$$super$lookupRelation(ExtendableSQLContext.scala:52) в>org.apache.spark.sql.catalyst.analysis.OverrideCatalog$$anonfun$lookupRelation$3.apply(Catalog.scala:203) в>?>org.apache.spark.sql.catalyst.analysis.OverrideCatalog$$anonfun$lookupRelation$3.apply(Catalog.scala:203) в scala.Option.getOrElse(Option.scala:120)
1 ответ
Команда show datasourcetables
устарел с Vora1.2 и был заменен show tables using com.sap.spark.vora
, Однако эта команда показывает только то, что сохраняется в каталоге Vora. Чтобы загрузить таблицы в текущем контексте Spark (например, после перезапуска spark-shell), вам нужно запустить register tables
команда:
vc.sql("register all tables using com.sap.spark.vora").show
Чтобы проверить, что находится в текущем контексте Spark, вы можете использовать show tables
команда (без условия использования). Более подробную информацию вы можете найти в Руководстве разработчика Vora и документации Spark.