Висит искра kafka 10 (DirectStream)
Похоже, что у нас возникла та же проблема, как описано здесь: https://issues.apache.org/jira/browse/SPARK-20780
Я уже знаю, что это проблема Кафки, а не искры, но все же хотел бы получить совет о том, как действовать, пока эта проблема не будет решена сообществом Кафки.
Увеличение request.timeout не сильно помогает, потому что тогда мы можем получить большую очередь. Например, если микро-партия составляет 10 секунд, а Кафка request.timeout.ms составляет 20 секунд, каждый раз, когда возникает проблема, это создает задержку около 20 секунд, что приводит к очереди в 2 микропакета. Очевидно, что чем больше это происходит, тем больше задержек это вызывает, что в итоге приводит к довольно большой очереди.
Какие-либо лучшие практики / обходные пути / советы о том, как преодолеть эту проблему, пока она не будет решена?