Вызов SPARK SQL внутри функции карты

Question

В моем коде у меня есть требование, где мне нужно вызвать спарк SQL для каждой из строк dataset,

Теперь искра sql требует SparkSession функция внутренней карты, которую невозможно передать как переменную широковещания.

Итак, есть ли в любом случае для вызова Spark SQL внутри map function?

Я проверил онлайн, но я не смог найти информацию, относящуюся к тому же.

Я использую Java в качестве языка программирования для SPARK.

SPARK VERSION: 2.3.0

Заранее спасибо.

Answer 1

Карта применяет функцию к каждому элементу Dataset и возвращает другой Dataset, Здесь нужно перебирать каждый элемент с org.apache.spark.api.java.function.ForeachFunction, Затем вы можете выполнить иск SQL для каждого элемента.

Пример:

data.foreach((ForeachFunction<Row>) row -> System.out.println(row));