Луч Apache Join.leftOuterJoin, как передать пустой TableRow?

Я хочу выполнить leftOuterJoin на 2 таблицах BigQuery в Apache Beam (JAVA Sdk).

  1. Читаю таблицы ( leftTableCollection & rightTableCollection) и имеют тип PCollection<TableRow>.

  2. Преобразовал их в форму PCollection<KV<String, TableRow>> т.е. <ключ соединения, строка-таблица>

  3. Я использую Join.leftOuterJoin из org.apache.beam.sdk.extensions.joinlibrary.Join

`

      PCollection<KV<String, TableRow>> leftTableKVCollection =
    leftTableCollection.apply(ParDo.of(new ExtractLeftTableDoFn()));
PCollection<KV<String, TableRow>> rightTableKVCollection =
    rightTableCollection.apply(ParDo.of(new ExtractRightTableDoFn()));

TableRow rightTableNullValues = ???

PCollection<KV<String, KV<TableRow, TableRow>>> joinKvResults =
    Join.leftOuterJoin(leftTableKVCollection, rightTableKVCollection, rightTableNullValues);

`

Я не понимаю, за что сойти за rightTableNullValues здесь?

Пробовал с new TableRow() который бросает unable to serialize ошибка.

Любые предложения будут очень полезны. TIA

0 ответов

Другие вопросы по тегам