Как Spark выполняет ввод / вывод?

Question

Как Spark выполняет ввод / вывод?

Насколько я понимаю, Spark использует параллельный ввод-вывод для чтения файлов. Этот вывод приходит из других ответов переполнения стека.

Мой вопрос заключается в том, позволяет ли спарк читать данные, используя независимый подход или коллективный подход? Другими словами, каждый работник читает набор данных или рабочие взаимодействуют друг с другом и сотрудничают, чтобы эффективно читать данные?

1

apache-spark io parallel-io

Источник

user10548762 30 окт '18 в 17:26

2 ответа

Другие вопросы по тегам apache-spark io parallel-io

user10486062 07 ноя '18 в 23:26 2018-11-07 23:26 · Answer 1 · 2018-11-07 23:26

Работники общаются водителем, а каждый работник обрабатывает свои данные

1

Источник

user10486062 07 ноя '18 в 23:26

user4740914 30 окт '18 в 18:57 2018-10-30 18:57 · Answer 2 · 2018-10-30 18:57

У каждого работника Apache Spark есть Исполнители, Работники могут быть развернуты в распределенном или автономном режиме.
Каждый работник обрабатывает свои собственные данные, которые он обрабатывает. Для более подробной информации смотрите этот ответ или эту ссылку