libvirt: почему так мало IOPS при прямом подключении LUN к гостю KVM

Question

У меня есть один KVM и несколько LUN (Compellent SAN) в пуле хранения с несколькими путями. Все файловые системы xfs.

> # virsh vol-list --pool multipath 
dm-3     /dev/mapper/maildata-store-2-repl
dm-4     /dev/mapper/maildata-store-1-back
dm-5     /dev/mapper/metadata-store-2-repl
dm-6     /dev/mapper/metadata-store-1-back
dm-7     /dev/mapper/images

Один LUN предназначен для хранения виртуальных машин (/var/lib/libvirt/images), а другие будут подключаться непосредственно к виртуальным машинам для будущего хранения почты и соответствующих метаданных.

# df /dev/mapper/images1
Sys. de fichiers    blocs de 1K  Utilisé Disponible Uti% Monté sur
/dev/mapper/images1   209611780 18752452  190859328   9% /var/lib/libvirt/images

fio используется для сравнения IOP при случайной записи:

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=/tmp/10g.file --bs=4k --iodepth=64 --size=4G --readwrite=randwrite

Итак, я получил этот результат для теста fio при записи в папку tmp виртуальной машины (/dev/mapper/images), довольно хорошо!

запись: IOPS=66,1 КБ, BW=258 МБ / с

Теперь я присоединяю LUN к этой виртуальной машине с помощью этого XML-файла:

<disk type='block' device='lun'>
  <driver name='qemu' type='raw'/>
  <source dev='/dev/mapper/maildata-store-1-back'/>
  <target dev='sda' bus='scsi'/>
  <address type='drive' controller='0' bus='0' target='0' unit='0'/>

И эта команда:

virsh attach-device VM_TEST --file lun.xml --persistent

Затем на VM_TEST:

#fdisk /dev/sda #mkfs.xfs /dev/sda1 #mount /dev/sda1 /test

И перезапустите тест fio на вновь созданном разделе:

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=/test/10g.file --bs=4k --iodepth=64 --size=4G --readwrite=randwrite

Результаты гораздо хуже:

запись: IOPS=17,6 КБ, BW=68,7 МБ / с

Я поиграл с различными вариантами в файле XML, такими как cache=none, bus=virtio, .., но мне не удалось действительно увеличить показатели.

Пока я застрял. Я действительно не знаю, где искать.

Спасибо.

Answer 1

Итак, мне удается получить одинаковые IOP на хостах и ​​гостях с этой настройкой:

<driver name='qemu' type='raw' cache='directsync' io='native'/>

Я также пытаюсь смонтировать блочное устройство как диск или как луну:

<disk type='block' device='lun'>
  <target dev='sda' bus='scsi'/>

А также

<disk type='block' device='disk'>
  <target dev='sda' bus='virtio'/>

С такими же результатами.