Как настроить кластер пряжи с искрой?
У меня есть 2 машины с 32 ГБ оперативной памяти и 8Core каждой машины. Итак, как я могу настроить пряжу с помощью искры и какие свойства я должен использовать для настройки ресурсов в соответствии с нашим набором данных. У меня есть набор данных 8 ГБ, так может кто-нибудь предложить конфигурацию пряжи с искрой в параллельных работах?
Вот конфигурация пряжи: я использую hadoop 2.7.3,spark 2.2.0 и ubuntu 16
`yarn scheduler minimum-allocation-mb--2048
yarn scheduler maximum-allocation-mb--5120
yarn nodemanager resource.memory-mb--30720
yarn scheduler minimum-allocation-vcores--1
yarn scheduler maximum-allocation-vcores--6
yarn nodemanager resource.cpu-vcores--6`
Вот конфигурация искры:
spark master master:7077
spark yarn am memory 4g
spark yarn am cores 4
spark yarn am memoryOverhead 412m
spark executor instances 3
spark executor cores 4
spark executor memory 4g
spark yarn executor memoryOverhead 412m
но мой вопрос с 32 ГБ оперативной памяти и 8Core каждой машины. сколько приложений я могу запустить, является ли этот конф правильным? bcoz только два приложения работают параллельно.