Используйте рабочий лист Scala идеи IntelliJ в качестве Scala REPL для Apache Spark

Question

Можно ли использовать рабочий лист Scala в IntelliJ в качестве альтернативы ноутбуку Jupyter? Я следовал упомянутому здесь решению, однако он запускает код локально, а не на удаленном кластере. Моя основная проблема заключается в том, что IntelliJ IDE работает на моем ноутбуке локально, а искровой кластер находится в облаке. Как мне попросить IntelliJ использовать удаленный SBT?

Answer 1

Если вы просто пробуете учебник в более интерактивном / специальном стиле для изучения программирования и концепций Spark, ссылка, о которой вы упомянули в своем посте, - это то, как вы это сделаете. В этом режиме вы в основном моделируете одноузловой кластер Spark (т.е. ваш локальный компьютер), который действует как в качестве драйвера, так и в качестве узла-исполнителя (все в одном).

Однако на самом деле вы не будете отправлять и запускать приложение Spark в кластере ACTUAL Spark в более реальной ситуации. Если это то, что вы пытаетесь сделать, вам нужно вместо этого использовать один из двух режимов развертывания, предлагаемых Spark: режим клиента и режим кластера. Вы будете использовать утилиту командной строки "spark-submit" для отправки скомпилированной библиотеки Spark (толстый JAR) в качестве задания Spark. Подробнее здесь.