Apache Toree - Как связать Spark Kernel Service с клиентским кодом?
Я пытаюсь создать приложение Java/Scala, которое будет отправлять искровой код в удаленный искровой кластер. Я использую Apache Toree, то есть Spark Kernal, чтобы добиться этого. Я успешно подключился и запустил сервис Apache Toree со Spark на YARN.
Мне нужно написать клиент Java/Scala для подключения к этому работающему сервису Apache Toree, чтобы интерактивно отправлять искровой код.
Чтобы написать клиент, я ссылаюсь на следующие примеры в проекте
Теперь мой вопрос - если Spark Kernel/Apache Toree работает на одном из краевых узлов с IP-адресом 10.22.34.10:8042 или http://example.com:8042/ где я могу указать этот адрес в клиентском коде, чтобы что клиентский код устанавливает соединение с удаленной службой Spark Kernel/Apache Toree и передает искровой код на работающее Spark Kernel для выполнения?
В двух словах - Как мы устанавливаем соединение между клиентом и сервисом Apache Toree /Spark Kernel, то есть я имею в виду, как клиент узнает, куда отправить искровой код? - Я не могу найти конфигурацию в примере (ссылка выше).
PS: я не использую Jupyter в любом случае в моем случае использования - простой запуск сервиса Toree на Spark-Yarn и написание клиента на Java/scala для отправки / выполнения кода Spark.
Пожалуйста, дайте мне знать, если мне не хватает чего-то важного в качестве конфигурации для моего варианта использования.
Мы будем очень благодарны за ссылку / образец на работающий пример кода Java/Scala для подключения к работающему сервису Toree, который может отправлять и выполнять код искры. Спасибо!