Синтетический тест производительности AB
Я развернул две версии нашего одностраничного веб-приложения: одну главную (A) и одну ветвь, где есть некоторые изменения, которые могут как-то повлиять на время загрузки (B). Обычно это новая функция во внешнем интерфейсе, рефакторинг, небольшая оптимизация производительности и т. Д. Разница не так велика, и время загрузки значительно отличается от других причин (нагрузка на тестируемые машины, нагрузка на серверы, сеть, так далее). Таким образом, webpagetest.org даже с 9 попытками меняется гораздо больше (скорость индекса 14-20 с), чем реальная разница (например, 0,5 с).
В принципе, мне нужен один номер, который говорит мне - эта функция увеличивает / уменьшает время загрузки.
Есть ли инструмент, который мог бы измерить такие различия?
Моя идея состояла в том, чтобы развернуть Webpagetest на сервере с минимальной нагрузкой и запустить Webpagetest случайным образом в обеих версиях одновременно, поэтому я избегаю большей части шума. Сделайте много образцов (1000+) и проверьте среднее (или среднее) значение.
Но прежде чем я начну работать над этим, я хотел бы спросить, есть ли какой-нибудь сервис, который решает эту проблему.