Как разделитель диапазона обрабатывает родительские разделы между исполнителями?
В Apache Spark разделители используются для определения того, как данные будут перетасовываться. У них всех есть getPartition(key: Any): Int
способ сделать это.
В частности в RangePartitioner
разработчики должны передавать информацию о RDD
чтобы начать это. Поэтому я не понимаю, где на самом деле выполняют работу секционеры: исполнители, водитель или мастер?