Нужна предсказуемая постоянная задержка <5 мс в кафке
Мы планируем использовать 3 кафка-брокера и узел зоопарка. Мы сохранили один раздел для каждой темы. Но у нас есть строгое требование задержки до 5 мс. Мы используем клиентскую библиотеку реактивная-кафка https://github.com/akka/reactive-kafka.
Например, у нас есть производитель, который выдает 128-байтовые (приблизительные) данные каждые 30 мс, а потребитель - каждые 50 мс.
Мы пробовали с
linger.ms=0
compression.type=none
acks=0
на стороне производителя.
Опрос на стороне потребителя в 50 мс
Но как только мы увеличиваем частоту создания до 1 секунды, задержка становится непредсказуемой с 1 до 70 мс.
Итак, что делать, если нам всегда требуется задержка менее 5 мс, какую настройку необходимо выполнить на уровне kafka-брокера, производителя и потребителя.