Фабрика данных - добавление полей в приемник JSON

Question

Я использую операцию копирования, чтобы скопировать / преобразовать исходный набор данных JSON в набор данных приемника JSON. Нужно добавить несколько выходных полей аудита к выводу - например, преобразовать дату, используя функцию выражения @utcnow.

Как это можно сделать?

Answer 1

Похоже, что работа с базами данных справляется с этой функциональностью довольно хорошо.

df_new = df.select("table.field1","table.field2","table.field3").withColumn("TransferDate", current_timestamp())