Как проверить A/B весь дизайн сайта

Question

Мы создаем новый дизайн веб-сайта и вместо того, чтобы переходить на него на 100%, мы хотели бы упростить его, чтобы мы могли тестировать на ходу. Цель состоит в том, чтобы пользователи, которые посещают сайт http://oursite.com/ получали либо "старый" сайт, либо новый, и мы могли бы контролировать процент тех, кто получает новый сайт, на 10%, 50% и т. Д.

Я знаком с A/B-тестами для страниц, но не для всего домена сайта. Мы находимся в стеке LAMP, так что, может быть, это можно сделать с помощью Apache VHosts? У нас есть 2 облачных сервера, которые работают за облачным балансировщиком нагрузки. Новый сайт полностью содержится в ветви svn, а на текущем производственном сайте заканчивается ствол svn.

Любые рекомендации о том, как я могу это осуществить?

Спасибо вам!

Answer 1

Вы, безусловно, можете это сделать, и это отличный способ быстро выявить вещи, которые имеют большое значение для улучшения показателей конверсии. Это зависит от нескольких вещей:

1. Ваш сайт имеет общий заголовок. Вы будете A/B-тестированием CSS-файлов, так что это будет работать, только если для всего сайта (или раздела сайта) будет один вызов CSS.
2. Вы только тестируете различия в дизайне сайта. В этом сценарии все содержимое, формы, призывы к действию и т. Д. Будут идентичны между версиями. Технически возможно запускать отдельные тесты для других элементов страницы одновременно. Я не рекомендую это, поскольку интерпретация результатов становится запутанной.
3. Выбранная вами платформа A/B-тестирования поддерживает показ одной и той же версии посетителю во время его посещения. Было бы очень неприятно видеть, как тема сайта меняется каждый раз, когда они переходят на другую страницу. У большинства платформ A/B-тестирования, которые я использовал, есть опция для этого.

Поскольку вы тестируете существенные различия между версиями, я также рекомендую вам рассчитать размеры выборки перед началом работы. Это не даст вам показывать проигрышную версию слишком многим людям, а также даст вам уверенность в результатах ( ошибочно допускать выполнение тестов до тех пор, пока они не достигнут статистической значимости). Вы можете использовать несколько онлайн-калькуляторов ( VisualWebsiteOptimizer, Evan Miller).