Развертывание apache-spark: автономные VS несколько виртуальных машин
У меня есть одна машина для развертывания Spark, Hadoop и Tachyon. Будут ли ускоренные операции из hdfs/tachyon на одном узле со всеми ядрами / ОЗУ или несколькими узлами ВМ, равномерно разделяющими ресурсы? Рам < 200GB.
Производительность и масштабируемость широковещательной рассылки в Spark довольно старая, но предполагает, что увеличение сетевого трафика может быть сильным негативом в проблеме всех против виртуальных машин.
1 ответ
Вероятно, лучше иметь несколько экземпляров рабочих, в то время как это увеличивает нагрузку на сеть, а производительность JVM при действительно большой куче невелика.