Проверка версии среды выполнения Databricks в Azure
Можно ли проверить версию среды выполнения Databricks в Azure?
2 ответа
Среда выполнения Databricks представляет собой набор основных компонентов, которые работают в кластерах, управляемых Azure Databricks. Он включает в себя Apache Spark, но также добавляет ряд компонентов и обновлений, которые значительно улучшают удобство использования, производительность и безопасность аналитики больших данных.
При создании кластера вы можете выбирать из множества поддерживаемых версий среды выполнения.
Если вы хотите узнать версию среды выполнения Databricks в Azure после создания:
Перейдите напортал Azure Data bricks=>Clusters=>Interactive Clusters=> здесь вы можете найти версию во время выполнения.
Дополнительные сведения см. В разделе" Версии среды выполнения Azure Databricks".
Надеюсь это поможет.
В Скала:
dbutils.notebook.getContext.tags("sparkVersion")
В Python:
spark.conf.get("spark.databricks.clusterUsageTags.sparkVersion")
Возвращает вам среду исполнения Databricks и версию Scala, например: 5.0.x-scala2.11 .