С http://livy.incubator.apache.org/.

Что такое Apache Livy?

Apache Livy - это служба, которая обеспечивает простое взаимодействие с кластером Spark через интерфейс REST. Он позволяет легко отправлять задания Spark или фрагменты кода Spark, синхронное или асинхронное получение результатов, а также управлять контекстом Spark через простой интерфейс REST или клиентскую библиотеку RPC. Apache Livy также упрощает взаимодействие между Spark с серверов приложений, что позволяет использовать Spark для интерактивных веб-приложений и мобильных приложений. Дополнительные возможности включают:

• Имеют давно работающие контексты Spark, которые могут использоваться для нескольких заданий Spark несколькими клиентами.
• Совместное использование кэшированных RDD или Dataframes для нескольких заданий и клиентов
• Можно управлять несколькими контекстами Spark одновременно, а контексты Spark запускаются в кластере (YARN/Mesos) вместо Livy Server для обеспечения хорошей отказоустойчивости и параллелизма.
• Задания могут быть отправлены в виде предварительно скомпилированных jar-файлов, фрагментов кода или через клиентский API java / scala.
• Обеспечьте безопасность через безопасную аутентификацию

Ссылки

• Главная страница проекта
• GitHub
• Загрузки