Запрос: интерфейс Билайн в Spark SQL

Question

Скрипт Beeline - это один из способов подключения к HiveServer2, присутствующему в Spark/bin.

Я запустил простой запрос, как показано ниже.

В выводе я вижу, что Map-Reduce запускается.

Я просто пытаюсь понять, что является преимуществом функции Beeline в Spark по сравнению с традиционной структурой выполнения с уменьшением карты?

Можем ли мы использовать функцию Spark RDD в Билайн?

Заранее спасибо.

Answer 1

Билайн не является частью Spark.

Это просто клиент HiveServer2.

Вы можете запустить оболочку Spark и выполнить запросы внутри оболочки, но это не имеет никакого отношения к Beeline. Поскольку Билайн не имеет никакого отношения к Спарк.

Answer 2

Это один из способов. Если вы не хотите использовать Mapreduce, вы можете использовать TEZ как двигатель. Который будет работать в памяти, как быстрее, чем MR.

SET hive.execution.engine=tez;

Но вы не можете запустить spark ifrom beeline. Это отдельное приложение, которое подключается к hiveserver2.

Answer 3

Добавление к тому, что сказал @MondayMonkey. Билайн не является частью двигателя Spark. Это просто клиент JDBC, который подключается к Spri's Thriftserver (сервер JDBC). Beeline предоставляет интерфейс SQL для взаимодействия с Spark SQL