Databricks — потоки чтения — таблицы Delta Live

Question

У меня есть несколько таблиц (с разной степенью различий в схемах, но с общим набором полей), которые я хотел бы объединить и загрузить из бронзы -> серебра поэтапно. Таким образом, цель состоит в том, чтобы перейти от нескольких таблиц к одной таблице, используя DLT.

Пример:

      X_Events
Y_Events
.... N_Events 

To: All_Events

Я использую цикл for для просмотра всех баз данных -> таблицы, а затем выполняю за которым следует .

Однако, если есть дополнительная таблица, добавленная/измененная динамически, которую мне нужно обработать при следующем запуске, я получаю ошибку контрольной точки.

      There are [8] sources in the checkpoint offsets and now there are 
[6] sources requested by the query. Cannot continue.

Есть ли способ решить это динамически?

Должен ли я создавать свою собственную инкрементную логику? Есть ли лучший способ добиться этого?