Как выполнить тестирование браузера в Google Chrome, который постоянно обновляется
Как команды QA проводят браузерное тестирование Google Chrome?
Поскольку Google Chrome постоянно обновляется, возникает проблема с ограничением области тестирования конкретной версией. Хотя мы можем ограничить поддержку IE8 и IE9, номер версии Google Chrome является движущейся целью.
Возможные подходы:
- Заморозьте версию Google Chrome в начале цикла разработки.
- Разрешить Google Chrome обновляться во время цикла разработки. Разработайте и протестируйте любую версию, которая актуальна на данный момент.
Подход № 1 означает, что все должны синхронизироваться с определенной версией и редактировать свой реестр, чтобы предотвратить автоматическое обновление. Кроме того, вы будете выпускать код для версии X, в то время как мир будет в основном автоматически обновляться до версии X+1.
Проблема с #2 заключается в том, что функциональность браузера может меняться в течение циклов разработки. Предположим, что QA завершается в понедельник, а код отправляется в рабочую среду. Если Google выпустит крупное автоматическое обновление во вторник, это может привести к сбою кода, и никто не узнает, пока он не появится на производстве.
Как зрелые организации веб-разработки справляются с этим?
4 ответа
Мы используем вариант 2 по ряду причин.
1) Мы пытаемся смоделировать взаимодействие с пользователем во время тестирования (отключение обновления имитирует отклонение от нормы)
2) Скорее бы найти дефект в последнем раунде тестирования, чем о том, что пользователи сообщили о них
3) Я не могу вспомнить время, когда у нас возник серьезный дефект при тестировании таким способом. Как уже упоминал Мэтт, довольно маловероятно, что их обновления нарушат важные функции.
Чтобы уменьшить часть этого риска, мы стараемся использовать селен для тестирования основных функций автоматизации для постоянного тестирования различных браузеров. Это не все, но, по крайней мере, найдет большие проблемы (например, отсутствующий столбец). Это также помогает быть гибким в этих вещах. Мы можем выпускать по любому необходимому графику (ежемесячно, еженедельно, ежедневно, если необходимо), поэтому, если серьезная проблема найдена, мы можем исправить ее в тот же день.
Chrome обновляется так автоматически и беззвучно, что единственный разумный выбор - это протестировать его с самой последней версией. Вы можете опередить несколько версий, запустив разные каналы: canary, development, beta или stable.
Чтобы увидеть, как быстро происходят обновления Chrome для всей пользовательской базы, посмотрите последний график здесь.
Сайты, которые используют стандартный / действительный HTML, JavaScript, CSS-синтаксис и т. Д., Вряд ли будут ломаться с обновлениями Google (или Firefox, или любого другого браузера, кроме IE). Были ли какие-либо случаи, когда обновление Chrome нарушало законно действующий HTML/JS в прошлом?
Лучшим советом, по-видимому, является обеспечение максимальной чистоты вашего сайта и тестирование во всех браузерах. "Удержание поддержки", похоже, все равно отталкивает ваших пользователей.
Мы просто отключаем автообновление во всех браузерах и получаем множество виртуальных машин с разными версиями браузера.