Почему я не могу нацелиться на дополнение к своей цели в Optimizely?
Калькулятор размера выборки Optimizely показывает, что более высокий базовый коэффициент конверсии приводит к меньшему требуемому размеру выборки для A/B-теста. Таким образом, вместо того, чтобы максимизировать свою цель конверсии, я хотел бы минимизировать противоположное, то есть не достичь цели.
Для каждой цели с коэффициентом конверсии менее 50% ее дополнение будет выше 50% и, следовательно, потребует меньшего размера выборки, если намечено.
Пример: вместо измерения всех пользователей, которые посещают payment-success.htmlЯ бы предпочел измерить всех пользователей, которые его не посещают, и постараюсь минимизировать это. Что обычно требует меньшего размера выборки, если мои рассуждения верны!
Optimizely позволяет мне целевые просмотры страниц только как цели, а не как просмотр страниц.
Я понимаю, что, возможно, я здесь упускаю или неправильно понимаю что-то важное, но если так, что это?
2 ответа
Статистически нет ничего плохого в вашем подходе, но, к сожалению, он не даст желаемого эффекта снижения продолжительности.
Хотя вы уменьшите предел погрешности, вы пропорционально уменьшите подъемную силу, и вам потребуется столько же времени для достижения уверенности.
Поскольку подъемная сила рассчитывается в процентах от базового коэффициента конверсии, то же изменение коэффициента конверсии при увеличении базовой линии приведет к меньшему подъему.
Скажем, ваш реальный коэффициент конверсии составляет 10%, а тест завершается увеличением его до 12%. Коэффициент обратной конверсии составил бы 90%, а затем снизился до 88%. В обоих случаях это изменение на 2%, но 2% - это гораздо большее изменение до 10% (это подъем на 20%), чем до 90% (только повышение на -2,22%).
Практически, вы рискуете гораздо больше ошибиться, когда люди попадут в цель с обратным. Вы знаете, что тот, кто попадает на страницу успеха, должен учитываться в достижении цели. Я почти уверен, что то, что вы предлагаете, приведет к тому, что каждый просмотр страницы, отсутствующий на странице успеха, после того, как пользователь увидит эксперимент, будет считаться целью.
Скажем, вы тестируете домашнюю страницу. Лица A и B приземляются на домашней странице и просматривают эксперимент.
- Человек А посещает еще 1 страницу и уходит
- Человек Б посещает еще 1 страницу и покупает что-то
Если ваша цель была настроена на странице успеха, ее может вызвать только человек B. Если цель была настроена на всех других страницах, оба человека сработали бы. Это явно не наоборот.
Фактически, если есть какие-либо страницы, необходимые для достижения страницы успеха после того, как пользователь впервые увидит эксперимент (поэтому, если вы не тестируете последний этап оформления заказа), все будут вызывать обратную цель просмотра страницы (независимо от того, попадут ли они на страницу успеха или не).
Оптимизировать цели просмотра страниц не только для страниц, включенных в таргетинг URL-адресов вашего эксперимента. Они рассчитаны на всех, кто видел эксперимент и в любой момент после этого попал на эту страницу.
Просто чтобы ответить, возможно ли это (не обращая внимания на то, приведет ли ваша установка к тому же результату), вы правы, что цель просмотра страниц Optimizely не позволяет этого делать, но вы, вероятно, можете использовать тип соответствия Regex для достижения того, чего вы хотите (см. "Тип соответствия URL" в пункте 3 здесь). В этом случае это будет выглядеть так, исходя из этого ответа здесь (который также объясняет сложность, связанную с несоответствием в Regex, указывая на то, почему Optimizely не встроил не просмотры страниц в продукт).
^((?!payment-success\.html).)*$
Надеюсь, это поможет вам добраться туда, куда вы хотите.