Как создать файл tar.gz с помощью Apache Beam

Question

Я использовал нижеприведенное, чтобы создать tar.gz файл и .gzфайл был создан, но файл tar недоступен. Как добиться результата?

PCollection<String> lines = pipeline.apply("To read from file",
    TextIO.read().from(<file path>));

lines.apply(TextIO.write()
    .to("C:\\Ddrive\\saveAllRequest1.txt")
    .withCompression(Compression.GZIP);

и как архивировать несколько файлов.

заранее спасибо

Answer 1

Создание tarfile - это по своей сути непараллельная операция. Один из вариантов - использовать преобразование Wait после записи с DoFn, который вручную создает архив.