Почему эксперименты Google показывают значительные различия в конверсиях в моем тесте A/A?

Question

Я провел A/B-тест, используя Google Experiment. Однако мы не хотели, чтобы тест A/B запускался в течение определенного периода времени, и поэтому поставили условие, основанное на дате, для отображения варианта B. Из любопытства я все равно начал эксперимент до того, как вариант B выйдет вживую. Следовательно, в начале эксперимента Google Experiment выбирал для меня вариант (A или B, см. Код ниже) и, независимо от выбранного варианта, я показывал вариант A (так как мы еще не достигли даты начала действия)). Это эффективно дает мне A/A тест, который я ожидал, что это будет жара. Google не знает, что на этом этапе я показываю одинаковые элементы страницы для каждого варианта.

Тем не менее, я получаю следующие результаты (показывая количество просмотров страниц за сеанс):

На изображении выше показаны результаты до дня, когда B-вариант заработал. В то время как я ожидал некоторого естественного изменения в просмотрах страниц, вариант B настолько последовательно выигрывает, что что-то кажется неправильным, так как он показывает страницу, идентичную варианту A на данном этапе. Есть идеи, что я могу делать не так?

Вот код, который мы используем:

      <script type="text/javascript" 
              src="//www.google-analytics.com/cx/api.js?experiment=MY_EXPERIMENT_ID"><!-- --></script>

      <script>
            function enableVariationB(shouldEnable) {
                var enableExperimentDate = new Date(2015, 6, 10);    
                var today = new Date();

                if (today < enableExperimentDate || shouldEnable) {
                    $('#variation_B').show();
                } else {
                    $('#variation_B').hide();
                }
            }

            //Call to Google Experiments to return 1 or 2 depending on 
            //which variation is to be shown to the user
            var chosenVariation = cxApi.chooseVariation();

            var pageVariations = [
                      function() {  
                          enableVariationB(true);  
                      }, 
                      function() {
                          enableVariationB(false);    
                      }
            ];

            $(document).ready(
                 pageVariations[chosenVariation]
            );
     </script>

Answer 1

Хм. Перед просмотром данных, в настройке эксперимента, today < enableExperimentDate проверка должна быть сделана перед звонком cxApi.chooseVariation(),

Причина: даже если посетитель назначен варианту B с точки зрения Google, если он / она провалил проверку даты эксперимента, пользователь увидит вариант A, даже если предполагается, что он / она находится в варианте B.

Теперь, глядя на данные,

1. Недостаточно трафика: сколько трафика получает ваш сайт / приложение? Это может быть просто совпадением, если объем трафика низкий, и результат не является окончательным.

2. Неясные показатели успеха / общие критерии оценки (OEC). Несмотря на то, что вариант B имеет большее количество просмотров страниц, чем вариант A, какую метрику успеха пытается оптимизировать ваш эксперимент? Глядя только на количество просмотров недостаточно.

3. Делать выводы слишком рано: если OEC, например, увеличит количество просмотров страниц с 1 до 2, основываясь на объеме трафика, который ваш сайт получает в день, и, скажем, требуется 1 месяц, чтобы этот объем данных достиг 95% уверенность в своем эксперименте, экспериментатор не должен смотреть на результат рано и делать вывод о том, какое лечение выиграло или нет - потому что у него еще недостаточно трафика, чтобы дать вам 95% уверенности.

4. Это все еще положительно для ложного положительного результата: даже если мы уверены в результате с 95% -ной уверенностью, есть все еще 5% -ный шанс столкнуться с ложным положительным результатом. Это означает, что если вы запустите 20 тестов, по статистике, 1 из результат теста будет неверным. Вот почему для экспериментаторов нередко повторять эксперименты позже, просто чтобы быть уверенным.

Надеюсь, что пункты выше помогают!