Производители / брокеры Kafka, не использующие указанный IP
Итак, у меня кластер из 6 машин. Эти машины имеют 2 IP-адреса (публичный и частный). Частные IP-адреса используют высокоскоростную сеть (1 Гбит / с), а публичные используют более медленную сеть (120 Мбит / с).
При настройке моего кластера kafka/zookeeper я установил частный IP в качестве IP-адреса брокера. Теперь моя конфигурация в порядке, так как я вижу вывод о том, что все мои брокеры подключены по правильному IP
INFO Connecting to zookeeper on 10.11.10.2:2181,10.11.10.3:2181,10.11.10.4:2181,10.11.10.5:2181,10.11.10.6:2181,10.11.10.7:2181 (kafka.server.KafkaServer)
Теперь, когда я тестировал производительность производителя, я мог получить пропускную способность более 120 Мбит / с.
bin/kafka-producer-perf-test.sh --topic highthr2 --num-records 10000 --record-size 100000 --throughput 10000 --producer-props acks=-1 bootstrap.servers=10.11.10.2:9092,10.11.10.3:9092,10.11.10.4:9092,10.11.10.5:9092,10.11.10.6:9092,10.11.10.7:9092
Когда я использовал nload, чтобы проверить, сколько данных проходит через каждый интерфейс, я обнаружил, что данные поступают и выходят через публичный IP-интерфейс (более медленный сетевой интерфейс). Я перепроверил журналы зоопарка и кафки, но они оба говорят, что мои брокеры находятся на частном IP.
Любые идеи о том, что является проблемой или что мне нужно изменить?