Где выполняется функция Apache Spark reductionByWindow?

Я пытаюсь изучить Apache Spark и не могу понять из документации, как работают оконные операции.

У меня есть два рабочих узла, и я использую Kafka Spark Utils для создания DStream из темы.

На этот DStream я применяю map функция и reductionByWindow,

Я не могу понять, если reductionByWindow выполняется на каждого работника или водителя.

Я искал в Google без какого-либо результата.

Кто-нибудь может мне объяснить?

Источник

1 ответ

Решение

Как получение, так и обработка данных происходят на рабочих узлах. Драйвер создает приемники (на рабочих узлах), которые отвечают за сбор данных, и периодически запускает задания для обработки собранных данных. Все остальное в основном стандартные RDD и обычные задания Spark.

Источник
Другие вопросы по тегам