Как работать с Apache Spark, используя Intellij Idea?

Question

Я хочу знать, как лучше всего работать с Apache Spark, используя Intellij Idea? (специально для языка программирования Scala)

Пожалуйста, объясните шаг за шагом, если можете.

Спасибо за ответ

Answer 1

На Intellij Idea есть хороший учебник по настройке Spark с помощью Scala
Ссылка на учебник

Дайте мне знать, если у вас возникнут какие-либо проблемы.

Answer 2

Здесь, скорее всего, нет бесплатного обеда. Я являюсь участником Spark в областях SQL и MLLib и провел неисчислимые часы, связанные с интеграцией Intellij и Spark. Вы можете гуглить "stackru intellij spark", и это даст вам представление.

Следуйте предложению imAGin, чтобы взглянуть на некоторые учебники. Используйте вопросы и ответы Stackru (я сам их вставил). Вам нужно будет потратить много времени, чтобы это заработало. И, к сожалению, это не разовое дело. Spark постоянно меняется - включая его зависимости и файлы сборки. Так что это сложная и движущаяся цель.

Answer 3

1. Настройте среду разработки Scala с помощью IntelliJ. См. Scala - Начало работы.

   • JDK требуется, поскольку Scala - это язык JVM
   • sbt это инструмент сборки
   • IntelliJ может быть IDE

2. В среду Scala добавьте зависимость Spark. См. Spark - Начало работы.

   • Запустите приложение, используя spark-submit

Ссылки предоставляют простые рабочие примеры, которые вы можете расширить для написания собственного приложения.