Развертывание Spark в облаке Azure

Question

Можно ли развернуть спарк-код в облаке Azure без компонента пряжи? заранее спасибо

Answer 1

Я не думаю, что можно развернуть кластер HDInsight без YARN. См. Документацию HDInsight.

• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-hadoop-introduction
• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-component-versioning

YARN - менеджер ресурсов для Hadoop. Есть ли какая-то особая причина, по которой вы не хотели бы использовать YARN при работе с кластером HDInsight Spark?

Если вы хотите использовать автономный режим, вы можете изменить местоположение главного URL при отправке задания с помощью команды Spark-submit.

У меня есть несколько примеров в моем репо с Spark-submit как в локальном режиме, так и в кластере HDInsight https://github.com/NileshGule/learning-spark

Вы можете обратиться к

• локальный режим: https://github.com/NileshGule/learning-spark/blob/master/src/main/java/com/nileshgule/movielens/MovieLens.md
• Кластер HDInsight Spark: https://github.com/NileshGule/learning-spark/blob/master/Azure.md

Answer 2

Да, вы можете развернуть кластер Apache Spark в Azure HDInsight без Yarn.

Кластеры Spark в HDInsight включают следующие компоненты, которые доступны в кластерах по умолчанию.

1) Spark Core. Включает Spark Core, Spark SQL, потоковые API Spark, GraphX ​​и MLlib.

2) Анаконда

3) Ливия

4) Блокнот Jupyter

5) Блокнот Zeppelin

Кластеры Spark в HDInsight также предоставляют драйвер ODBC для подключения к кластерам Spark в HDInsight из таких инструментов BI, как Microsoft Power BI и Tableau.

Обратитесь к следующим сайтам для получения дополнительной информации,

Создайте кластер Apache Spark в Azure HDInsight

Введение в Spark на HDInsight