Spark-Streaming-Kafka: перебалансировка разделов после использования Assign для поиска последнего смещения
У меня есть три задания Spark Streaming, которые используют ConsumerStrategies.Assign[]() искать последнее смещение, которое было зафиксировано в базе данных.
Каждое из этих заданий выполняет чтение из одного из трех разделов в теме (например, разделы 0,1 и 2). В случае сбоя одного из заданий Spark Streaming, возможно ли перебалансировать этот раздел с одним из двух других заданий, которые в данный момент выполняются.
Я знаю, что вы можете сделать это в обычном Кафке, используя ConsumerRebalanceListener, onPartitionsProvoked() а также onPartitionsAssigned(), Но как бы вы сделали это в Spark-Streaming-Kafka?