Dataflow GroupBy -> несколько выходов на основе ключей

Question

Есть ли простой способ, которым я могу перенаправить вывод GroupBy в несколько выходных файлов на основе групповых ключей?

Bin.apply(GroupByKey.<String, KV<Long,Iterable<TableRow>>>create())
.apply(ParDo.named("Print Bins").of( ... ) 
.apply(TextIO.Write.to(*Output file based on key*))

Если Sink является решением, не могли бы вы поделиться примером кода со мной?

Спасибо!

Answer 1

Beam 2.2 будет включать в себя API, чтобы сделать это - TextIO.write().to(DynamicDestinations)см. источник. На данный момент, если вы хотите использовать этот API, вы можете использовать версию 2.2.0-SNAPSHOT. Обратите внимание, что этот API является экспериментальным и может измениться в Beam 2.3 или более поздней версии.