Spark/ Yarn: отключить отключение кучи на драйвере
Есть такая конфигурация:
spark.yarn.driver.memoryOverhead
The amount of off-heap memory (in megabytes) to be allocated per driver in cluster mode. This is memory that accounts for things like VM overheads, interned strings, other native overheads, etc. This tends to grow with the container size (typically 6-10%).
Для целей тестирования я бы хотел отключить отключение кучи на драйвере, например
spark.memory.offHeap.enabled
If true, Spark will attempt to use off-heap memory for certain operations. If off-heap memory use is enabled, then spark.memory.offHeap.size must be positive.
но для водителя.
Есть что-нибудь подобное? Спасибо