A/B-тестирование: какие версии сравнивать в последующем тестировании

Question

A/B-тестирование: какие версии сравнивать в последующем тестировании

У меня есть дискуссия о проведении последующего теста после A/B теста, который не дал значительного результата. Итак, мы протестировали существующую контрольную страницу (C) с горизонтальной разметкой в сравнении с новой версией (V1) с разметкой столбцов. После двух месяцев исполнения у варианта V1 доход на 2% выше, чем у контрольной страницы C, но шанс превзойти оригинал составляет всего 58%. Поэтому мы решили прекратить тестирование, потому что кажется маловероятным получить значительный результат.

Теперь мы хотим изменить вариант и начать еще один тест. Моя идея состоит в том, чтобы создать новый вариант (V2) и проверить его на старой контрольной странице (C): C против V2.

Но мой коллега скорее хочет проверить более эффективную вариацию V1 по сравнению с другой вариацией: V2 против V1.

Какой правильный способ справиться с этим? Должны ли мы проверить C против V2 - или V2 против V1?

0

ab-testing abtest

Источник

user2559981 23 июл '14 в 10:06

2 ответа

Другие вопросы по тегам ab-testing abtest

user386779 09 дек '14 в 00:38 2014-12-09 00:38 · Answer 1 · 2014-12-09 00:38

Первое продолжение должно быть таким: Что делает увеличение дохода на 2% в V1?

Было ли это вызвано нажатием определенного элемента?
Это потому, что страница / ссылка посещаются чаще?

Основываясь на том, что вы узнали из этого вопроса, вы можете применить то, что вы узнали, к своему контролю или к V2.

Важно продолжать итерацию (C > V1 > V2), и не менее важно анализировать тесты, чтобы мы могли учиться на них!

user3866038 24 июл '14 в 00:13 2014-07-24 00:13 · Answer 2 · 2014-07-24 00:13

Похоже, что изменения, внесенные вами в C для создания V1, не оказали статистически значимого влияния на коэффициент конверсии.

В зависимости от того, сколько трафика у вас на сайте, есть два варианта настройки следующего теста:

Если у вас мало трафика на ваш сайт, вы можете сравнить V2 с C или V1 (что бы вы ни выбрали, субъективно и может основываться на ваших собственных предпочтениях).
Если у вас много трафика на ваш сайт (что, по-видимому, может и не произойти, если для подтверждения того, что тест не будет значительным, потребовалось два месяца), вы можете попробовать протестировать все три версии друг против друга в A/B. /C формат, чтобы проверить результаты вашего первого теста. Одна вещь, которую нужно проверить дважды, - использовать калькулятор размера выборки, чтобы убедиться, что у вас достаточно размера выборки для эксперимента.