Конфигурация предела соединения интерфейса

Question

Я сталкиваюсь с тем, что, как представляется, предел подключения для интерфейса YEDIS к yugabyte (или, возможно, внутренний предел подключения RPC).

Это ограничение составляет около 800 одновременных подключений. Следующее выдает ошибку через некоторое время:

java -jar ./yb-sample-apps.jar \
 --workload RedisKeyValue \
 --nodes 127.0.0.1:6379  \
 --nouuid \
 --value_size 256 \
 --num_threads_read 0 \
 --num_threads_write  800  \
 --num_unique_keys 1000000000

Ошибка выглядит так:

tablet: f9b5581437774f97979c868e283c628d, num_ops: 1, num_attempts: 5, txn: 00000000-0000-0000-0000-000000000000) passed its deadline 57037.830s (passed: 3.851s

Но это, кажется, работает нормально неопределенно:

java -jar ./yb-sample-apps.jar \
 --workload RedisKeyValue \
 --nodes 127.0.0.1:6379  \
 --nouuid \
 --value_size 256 \
 --num_threads_read 0 \
 --num_threads_write  500  \
 --num_unique_keys 1000000000

Как я могу поднять лимит подключения? Или это ошибка? 800 соединений далеко не достаточно для моего приложения. Мое приложение максимально на 8000 одновременных подключений.

Насколько я могу судить, мои настройки ulimit в порядке:

[root@72c14ca48af1 yugabyte]# ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 29892
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1048576
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimited
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Answer 1

Спасибо за сообщение об этой проблеме и за дополнительный вклад в свободный канал YugaByte, чтобы помочь изолировать проблему.

Оказалось, что здесь были две проблемы:

а) когда yb-tserver запускается самостоятельно, предполагается, что она может использовать 85% системной памяти (и это настраивается), но yb-ctl способ запуска тестового кластера дает только процессу yb-tserver 1 ГБ ОЗУ по умолчанию.

b) Для соединений redis фиксированные издержки каждого соединения составляли 1 МБ. Таким образом, при примерно 8000 подключений для этих накладных расходов потребуется около 8 ГБ памяти. Это контролируется redis_rpc_block_size yb-tserver gflag, который по умолчанию равен 1 МБ.

Из-за этих двух факторов записи в систему были отклонены со следующей ошибкой:

I0624 21:32:28.317205  6772 maintenance_manager.cc:341] we have exceeded our soft memory limit (current capacity is 136.82%).  However, there are no ops currently runnable which would free memory.

Следующие переопределения должны разблокировать вашу рабочую нагрузку:

 ./yb-ctl destroy
 ./yb-ctl start --disable_ysql --tserver_flags="redis_rpc_block_size=131072,memory_limit_hard_bytes=6000000000"
 ./yb-ctl setup_redis

Вышесказанное memory_limit_hard_bytes значение ~6 ГБ предполагает, что у вас есть машина 8 ГБ. Обратите внимание, что требования к памяти у yb-master не слишком высоки.