Есть ли в Spark что-то вроде функции «Закладки» клея, которая отслеживает уровень работы?

Question

Я ищу, есть ли в Spark что-то вроде «закладки» AWS Glue. Я знаю, что в Spark есть контрольная точка, которая хорошо работает с отдельным источником данных. В Glue мы могли использовать закладку, чтобы отслеживать все файлы в разных таблицах, участвующих в задании, с помощью одной закладки.

Answer 1

Для этого вы можете использовать Spark Structured Streaming в сочетании с Trigger.Once() .

Поток, по сути, просто запускает один пакет микропотока, который аналогичен одному пакету, при этом используя возможность контрольных точек, которая отслеживает обработанные файлы.