Создание DSEGraphFrames в Java или Scala с использованием SparkSession
Я пытаюсь получить DSEGraphFrame моих графиков DSE в Java или Scala. Я использую документацию блога, следующим образом
//load a graph in Java
DseGraphFrame graph = DseGraphFrameBuilder.dseGraph("test", spark);
// load a graph in scala
val graph = spark.dseGraph("test_graph")
Они оба требуют сеанса зажигания (в scala это подразумевается). Мой вопрос, как вы можете создать SparkSession spark
? Я уже пытался создать его самостоятельно, но строитель не смог разобрать мастер:
val spark = SparkSession
.builder
.master("dse://<ip_address>")
.appName("DseGraphFrames")
.getOrCreate()
1 ответ
Только приложения, запущенные с dse spark-submit
может понять dse://
мастер адреса. Поэтому убедитесь, что ваш запуск управляется dse spark-submit