Странное узкое место, копирование файлов на общие ресурсы EFS
Немного странная проблема, которая возникла из ниоткуда и будет мало информации. Я работаю в поддержку приложения PHP (Laravel), которое хранит файлы ресурсов для наших пользователей. Приложение работает в нескольких экземплярах EC2, а ресурсы хранятся в монтируемых EFS.
На днях один из наших основных маршрутов, который отвечает за инициирование сервером копирования каталога из A в B, начал занимать значительное количество времени (от 5 до 90 с) без каких-либо изменений содержимого или кода приложения.
Я смог изолировать задержку xcopy вызов, который перемещает одну папку на EFS в другую папку в той же EFS. Когда я обратился в Amazon за помощью в поиске метрик EFS в CloudWatch, они указали, что все выглядит хорошо, но отметили падение. Пропускная способность обеспечена на уровне 10 Мбит / с, а в последние несколько дней я достиг только 4-5 Мбит / с.
Используя NetData, я могу наблюдать за производительностью ОЗУ, ЦП, клиентских вызовов NFS и многим другим. Из того, что я могу сказать, клиент NFS тратит свое время. При локальном тестировании без EFS вызов выполняется очень быстро. Я попытался изменить код приложения, чтобы вместо копии PHP он выполнял system позвонить cp, Это не похоже на работу.
Кто-нибудь еще сталкивался со случайными проблемами с задержкой, как это раньше, при использовании EFS? Есть ли у кого-нибудь рекомендации по методам отладки, чтобы понять, почему это может происходить?
Спасибо за чтение и информацию, которую вы можете предложить.