Почему мой конвейер выдает "запрос fetchMessages не выполнен с ошибкой неверного смещения"?

Question

Я пытаюсь написать потоковый конвейер и получил эту ошибку.

Вот моя спецификация: -

--cpu-parallelism 8
--memory-parallelism 8

Пожалуйста, дайте мне знать, если это имеет смысл.

Answer 1

Существует два известных сценария такого поведения:

• Если конвейер был приостановлен на более длительный срок, чем срок хранения одного из входных потоков ИЛИ
• Если конвейер обрабатывает данные медленнее, чем входные потоки получают данные. В таких случаях в какой-то момент текущие данные, обрабатываемые конвейером, будут отбрасываться слоем потока, когда он пересекает порог периода хранения.