Как разделитель диапазона обрабатывает родительские разделы между исполнителями?

В Apache Spark разделители используются для определения того, как данные будут перетасовываться. У них всех есть getPartition(key: Any): Int способ сделать это.

В частности в RangePartitionerразработчики должны передавать информацию о RDD чтобы начать это. Поэтому я не понимаю, где на самом деле выполняют работу секционеры: исполнители, водитель или мастер?

0 ответов

Другие вопросы по тегам