spark-shell и sparkR в Google DataProc

Я очень новичок в Google DataProc

Мы хотим запустить набор кода через spark-shell или sparkR для тестирования. Возможно ли подключиться к кластеру spark и выполнить команды в spark-shell или sparkR в google DataProc?

Я проверил документ, и кажется, что мы можем отправлять задания, используя spark-submit, но я не нахожу информацию, касающуюся spark-shell или SparkR.

Источник

1 ответ

Решение

Да.

spark-shell и sparkR установлены на всех виртуальных машинах в кластере dataproc, и вы можете подключиться к любому из них по SSH (я обычно использую главный узел) и запустить spark-shell или sparkR.

Источник
Другие вопросы по тегам