Как улучшить скорость чтения / записи при использовании распределенной файловой системы?

Question

Если я просматриваю общую папку Распределенной файловой системы (DFS), я могу создать файл и почти сразу же просмотреть его репликацию на другой офисный общий ресурс DFS. Доступ к общим ресурсам довольно мгновенный даже по широкополосным каналам.

Я хотел бы улучшить скорость чтения / записи. Любые советы очень ценятся.

Answer 1

В большинстве файловых систем факторы скорости: тип доступа (последовательный или случайный) и размер блока. Производительность оборудования также влияет на MooseFS. Вы можете повысить скорость, улучшив производительность жестких дисков (например, вы можете переключиться на SSD), топологию сети (задержка сети) и емкость сети.

Answer 2

Улучшение аппаратного обеспечения всегда помогает, но имейте в виду, что в любой распределенной файловой системе производительность родительского хоста будет влиять, кроме того, что во многих случаях вы не можете касаться аппаратного обеспечения и вам необходимо оптимизировать сеть или настроить свои системы, чтобы они лучше подходили вашему текущему провайдеру. архитектура.

Примером этого, главным образом в виртуализированных средах, является случай отключения отключения сегментации TCP от сетевых карт, ifconfig_DEFAULT="SYNCDHCP -tso"это значительно улучшит пропускную способность, но за счет увеличения загрузки ЦП.

В зависимости от того, как далеко вы хотите пойти, вы можете запустить все эти оптимизации с самого низа:

• создание вашего собственного постного ядра / образа
• настройки сети для тестирования / тестирования (iperf)

• Тонкая настройка вашей FS, если вы используете ZFS, вот несколько советов:

  http://open-zfs.org/wiki/Performance_tuning

  https://wiki.freebsd.org/ZFSTuningGuide

  влияние на производительность при использовании сжатия Solaris ZFS lz4

относительно moosefs Есть некоторые потоки о том, как размер блока влияет на производительность ввода-вывода и как во многих случаях путем отключения кэша разрешить блоки> 4k.

В основном для FreeBSD мы добавили специальную опцию кэширования для клиента MooseFS под названием DIRECT. Эта опция доступна в клиенте MooseFS начиная с версии 3.0.49. Чтобы отключить локальный кеш и включить прямое соединение, используйте эту опцию во время монтирования:

mfsmount -H mfsmaster.your.domain.com -o mfscachemode=DIRECT /mount/point