Дисковый кеш / вопрос производительности на экземплярах Amazon

Question

Я наблюдаю некоторое поведение на экземплярах EC2, которое, по моему мнению, связано с дисковым кешем. В основном: у меня есть задача расчета, которая требует последовательного доступа к большому фрагменту данных (~60 файлов 1 ГБ). Я включил файлы в мое изображение амазонки. Я также использую mpi для запуска ~30 процессов для одновременного доступа к различным файлам. Кстати, программа связана с вычислениями, но дисковый ввод-вывод занимает приличную часть времени выполнения. Я заметил, что когда я запускаю экземпляр и выполняю вычисление с первой попытки, он чрезвычайно медленный. Команда top покажет, что процессы зависают время от времени, а загрузка процессора составляет около 60%. Однако, как только этот прогон завершится, если я начну другой прогон, он будет намного быстрее, и процессор составит около 99%. Это потому, что мои данные все еще находились на сетевом диске (EBS) и были автоматически загружены в дисковый кэш локального экземпляра (дисковод SSD?)? Я запустил его на C5n.18xlarge, но он указан только как EBS. У кого-нибудь был подобный опыт? Или альтернативные объяснения?

Answer 1

Это был почти наверняка дисковый кеш, но в оперативной памяти, а не локальном SSD.

Тип экземпляра c5.18xl имеет 192 ГБ ОЗУ. Таким образом, в зависимости от того, что еще вы делаете с этой оперативной памятью, вполне возможно, что ваши 60 ГБ файлов данных были считаны в кэш и никогда не уходили.

Для получения дополнительной информации: https://www.tldp.org/LDP/sag/html/buffer-cache.html