Могу ли я взять окно с последовательностью значений в Spark?
У меня есть последовательность значений (от сокращения по ключу). Я знаю, что теоретически ключи - это упорядоченная последовательность вещей, и я должен быть в состоянии уменьшить их.
Я хочу запустить окно над этими последовательностями. Я мог бы сохранить окно в аккумуляторе для функции сокращения, но я думаю, что то, как Spark распараллеливает рабочий процесс (требующий, чтобы функции были коммутативными и ассоциативными), означает, что окна могут быть разбиты.
Есть ли способ сделать это?