Получение com.sap.spark.vora.VoraConfigurationException с параметром "обнаружение"
У меня есть кластер HDP 2.3.4 на SLES 11 SP3 с 3 машинами и установленным Vora 1.2
Наконец-то начал работать сервис Discovery. Я могу проверить это в http://myclustermachine:8500/ui/. Кроме того, Vora Thriftserver не умирает.
Таким образом, я могу получить строку "val vc = new SapSQLContext (sc)" на странице 34 Руководства по установке Vora. Но когда я пытаюсь создать таблицу, я получаю следующее:
com.sap.spark.vora.VoraConfigurationException: Following parameter(s) are invalid: discovery
at com.sap.spark.vora.config.ParametersValidator$.checkSyntax(ParametersValidator.scala:280)
at com.sap.spark.vora.config.ParametersValidator$.apply(ParametersValidator.scala:98)
at com.sap.spark.vora.DefaultSource.createRelation(DefaultSource.scala:108)
at org.apache.spark.sql.execution.datasources.CreateTableUsingTemporaryAwareCommand.resolveDataSource(CreateTableUsingTemporaryAwareCommand.scala:59)
at org.apache.spark.sql.execution.datasources.CreateTableUsingTemporaryAwareCommand.run(CreateTableUsingTemporaryAwareCommand.scala:29)
at org.apache.spark.sql.execution.ExecutedCommand.sideEffectResult$lzycompute(commands.scala:57)
at org.apache.spark.sql.execution.ExecutedCommand.sideEffectResult(commands.scala:57)
at org.apache.spark.sql.execution.ExecutedCommand.doExecute(commands.scala:69)
at org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:140)
at org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:138)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:147)
at org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:138)
at org.apache.spark.sql.SQLContext$QueryExecution.toRdd$lzycompute(SQLContext.scala:933)
at org.apache.spark.sql.SQLContext$QueryExecution.toRdd(SQLContext.scala:933)
at org.apache.spark.sql.DataFrame.<init>(DataFrame.scala:144)
at org.apache.spark.sql.DataFrame.<init>(DataFrame.scala:129)
at org.apache.spark.sql.DataFrame$.apply(DataFrame.scala:51)
Что может быть не так в этот раз?
1 ответ
Решение
Видимо, это была строка в spark-defaults.conf, которую я добавил для параметра обнаружения: "spark.vora.discovery xxxxxxx:8500"
После того, как я удалил это, все работает.