Описание тега abtest

Контролируемое сравнение эффективности различных вариантов веб-сайта, электронной почты или другого коммерческого продукта. Обычно новое состояние или состояние лечения сравнивают с исходным или контрольным состоянием, чтобы определить эффект состояния лечения.

A/B-тест, или сплит-тест, - это бизнес-термин для эксперимента, в котором пользователям случайным образом предоставляется один из нескольких вариантов продукта, часто - функция веб-сайта.

Отклик или зависимая переменная чаще всего представляет собой данные подсчета (например, клики по ссылкам или продажи), но может быть непрерывной мерой (например, временем на сайте). Данные подсчета иногда преобразуются в ставки для анализа.

Поскольку они создают временные варианты "живых" веб-сайтов, онлайн-тесты A/B должны преодолевать несколько проблем, не характерных для традиционных экспериментов с предпочтениями людей. Например, дифференциальное кеширование тестовых версий может снизить производительность веб-сайта для некоторых версий. Пользователям могут быть показаны несколько вариантов, если они вернутся на веб-сайт и не будут успешно идентифицированы с помощью файлов cookie или регистрационной информации. Более того, нечеловеческая деятельность (сканеры поисковых систем, сборщики электронной почты и бот-сети) могут быть ошибочно приняты за пользователей-людей.

Полезные ссылки:

Кохави, Рон, Рэндал М. Хенн и Дэн Соммерфилд. "Практическое руководство по контролируемым экспериментам в Интернете: слушайте своих клиентов, а не HiPPO". (2007).

Кохави, Рон и др. "Надежные контролируемые онлайн-эксперименты: объяснение пяти загадочных результатов". Материалы 18-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных. ACM, 2012.