Зачем использовать Apache Beam Spark Runner, если мы можем напрямую использовать Apache Spark?
Я читал про луч Apache. Перебрал различные бегунки в апач-балке. Но мне интересно, почему кто-то должен использовать луч Apache с бегунком искры, если он может напрямую использовать искру Apache?
1 ответ
Из-за Apache Beamявляется унифицированным, переносимым и расширяемым, реализующим задания пакетной и потоковой обработки данных, которые выполняются на любом механизме выполнения. Это означает, что вы можете написать только один код для потоковых и пакетных заданий без какой-либо зависимости от платформы выполнения.