ошибка: значение show не является членом модуля CaseFileDFTemp.show()

Question

Я запустил код ниже в databricks scala notebook, но я получаю сообщение об ошибке.

ДОБАВЛЕННАЯ БИБЛИОТЕКА: azure-cosmosdb-spark_2.4.0_2.11-1.3.4-uber КОД:

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import spark.implicits._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType,LongType,FloatType,DoubleType, TimestampType}
import org.apache.spark.sql.cassandra._

//datastax Spark connector
import com.datastax.spark.connector._
import com.datastax.spark.connector.cql.CassandraConnector
import com.datastax.driver.core.{ConsistencyLevel, DataType}
import com.datastax.spark.connector.writer.WriteConf

//Azure Cosmos DB library for multiple retry
import com.microsoft.azure.cosmosdb.cassandra

import sqlContext.implicits._
spark.conf.set("x","x")
spark.conf.set("x","x")
spark.conf.set("x","x")
spark.conf.set("x","x")

val CaseFileDFTemp = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> "case_files", "keyspace" -> "shared"))
.load().show()

CaseFileDFTemp.show()

ОШИБКА:

ошибка: значение show не является членом модуля CaseFileDFTemp.show()

Answer 1

Не могли бы вы попробовать создать контекст SQL и попробовать функцию show.

import sqlContext.implicits._
val sqlContext= new org.apache.spark.sql.SQLContext(sc)

Пожалуйста, дайте мне знать, если это поможет.

Answer 2

Если вы напишете

val CaseFileDFTemp = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> "case_files", "keyspace" -> "shared"))
.load().show()

потом CaseFileDFTemp будет иметь тип Unit, поскольку show()будет "потреблять" ваш фрейм данных. Так что удалиshow(), тогда это будет работать