Таблица дельты как источник потока. Как рассчитать потребительское отставание

Question

Я использую структурированную потоковую передачу apace spark для потоковой передачи данных из дельта-таблицы. Проблема в том, что я не вижу отставания потребителей. Как мы можем рассчитать отставание потребителей?

Я также бросил файлы контрольных точек, созданные для каждой партии, но у них есть только временная метка в эпоху.

https://docs.microsoft.com/en-us/azure/databricks/delta/delta-streaming#:~:text=for%20a%20stream-,Delta%20table%20as%20a%20stream%20source,and%20таблицы%20as%20a%20stream.

  .format("delta")
  .load("/mnt/delta/events")
  .groupBy("customerId")
  .count()
  .writeStream
  .format("delta")
  .outputMode("complete")
  .option("checkpointLocation", "/mnt/delta/eventsByCustomer/_checkpoints/streaming-agg")
  .start("/mnt/delta/eventsByCustomer")