Тестирование производительности Confluent Kafka-rest
Я развернул kafka-rest-proxy в vm openstack со следующими ресурсами и включил SSL между брокерами kafka-rest-proxy и kafka:
16vCPUs , 44GB RAM, 341GB harddisk,
Kafka-rest-proxy работает просто отлично, я могу создать потребителя, подписаться на тему и использовать записи в соответствии с инструкциями. Я также могу без проблем отправлять сообщения по темам через kafka-rest-proxy. Теперь я хочу подчеркнуть пропускную способность, которую я пытался использовать wrk tool, чтобы добиться этого, и результаты следующие:
wrk -t32 -c1000 -d30s -H "Accept: application/vnd.kafka.json.v2+json" http://xxx.xxx.xxx.xxx:8082/consumers/my_consumer/instances/my_consumer/records
Running 30s test @ http://xxx.xxx.xxx.xxx:8082/consumers/my_consumer/instances/my_consumer1/records
32 threads and 1000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 1.01s 21.73ms 1.24s 94.83%
Req/Sec 69.83 77.27 303.00 80.46%
28681 requests in 30.04s, 4.38MB read
Socket errors: connect 3, read 0, write 0, timeout 0
Requests/sec: 954.81
Transfer/sec: 149.19KB
Я думаю, что 954 запроса / сек - 149,19 КБ не так много. В приведенном ниже обсуждении они упоминают, что потребитель достигает 1,590000 МБ / с, а с некоторой оптимизацией 9,270000 МБ / с:
https://github.com/confluentinc/kafka-rest/issues/2
Ниже моя конфигурация kafka-rest-proxy
id=kafka-rest-ssl2
zookeeper.connect=zookeepertest1:2181,zookeepertest2:2181,zookeepertest3:2181
bootstrap.servers=SSL://kafkatest1:9093,SSL://kafkatest2:9093,SSL://kafkatest3:9093
client.security.protocol=SSL
client.ssl.truststore.location=/root/client.truststore.jks
client.ssl.truststore.password=serversecret
consumer.request.max.bytes=1048576000
consumer.threads=16
debug=true
Что я могу сделать, чтобы улучшить МБ / с. Я думаю, что 149.19 KB не является достаточной скоростью передачи.
Есть ли шанс, что проблема с WRK? Как я вижу по ссылке, которую я разместил выше, есть несколько инструментов для отдыха kafka для проверки производительности, но я не могу выяснить, как именно выполняются эти тесты.