Частота контрольной точки источника Spark Structured Streaming Kafka
Я потребляю тему Кафки с startingOffsets установлен в earliest, Срок хранения кластера составляет 48 часов. Очевидно, что когда запрос выполняется впервые (без контрольных точек), он будет начинаться с самого раннего смещения. Если приложение было уничтожено до обработки всех текущих записей, будет ли оно перезапущено с того места, где оно было остановлено, или с самым ранним смещением? т. е. возникает ли какая-либо контрольная точка во время обработки первой (очень большой и, следовательно, трудоемкой) партии?