Как консолидировать поток, используя Spark Structured Streaming?

Question

Мне нужно распространять обновления в мои потоки на основе потока только-добавления. Например:

Только добавляемый поток

| Column Name | Column Timestamp | Column Value |
|    Mark     | 2019:08:27 13:00 |      X       |
|     ...     |       ...        |     ...      |
|     Tom     | 2019:09:27 13:00 |      Z       |
|    Mark     | 2019:09:28 13:00 |      Y       |

onlyAppend= spark.readStream \
  .format("delta") \
  .load("s3:path") \

Я хочу иметь обновленный поток

| Column Name | Column Timestamp | Column Value |
|     ...     |       ...        |     ...      |
|     Tom     | 2019:09:27 13:00 |      Z       |
|    Mark     | 2019:09:28 13:00 |      Y       |

result.writeStream \
  .format("delta") \
  .outputMode("") \
  .table("consolidate_table")