Несколько искровых исполнителей с одним и тем же spark.local.dir

Question

Я запускаю приложение Spark на контейнере Mesos Docker, устанавливая следующие свойства.

--conf 'spark.local.dir=/var/lib/spark'
--conf 'spark.mesos.executor.docker.image=my_spark_docker_image'
--conf 'spark.mesos.executor.docker.volumes=/var/data/x-spark:/var/lib/spark,/opt/local/mesos:/opt/local/mesos:ro'
--conf 'spark.executorEnv.MESOS_NATIVE_JAVA_LIBRARY=/opt/local/mesos/lib/libmesos.so'

• Все исполнители Spark являются Docker-контейнерами (запускаемыми Mesos Docker).
• Один или несколько исполнителей Spark могут работать на одном хосте.
• spark.local.dir свойство /var/lib/spark, который монтируется с хоста докером.

То есть все исполнители Spark на хосте имеют один и тот же локальный каталог (/var/data/x-spark).

Кажется, все работает нормально, я беспокоюсь о повреждении файлов. Это безопасно?

Answer 1

Это безопасно. Каждая работа создаст свой собственный подкаталог.