Определить размер выборки для A/B-тестирования, более 2-х вариантов

Question

Какую функцию R следует использовать, если мы хотим определить размер выборки для такого теста:

10 объявлений, мы хотим использовать тест, чтобы решить, какая реклама имеет лучший рейтинг кликов. Мы можем рассчитывать поток и кликов.

Answer 1

Я не думаю, что количество вариантов опыта имеет значение. В каждом из них вы сравниваете метрику с той же метрикой в ​​элементе управления, поэтому в каждом из них вы будете иметь свой собственный значительный размер выборки: чем меньше разница с контролем, тем больше размер выборки.

Суть активных дебатов в последние годы связана с тем, как во время выполнения оптимизировать распределение трафика между событиями, чтобы к моменту вызова всех вариантов большинство из них прошло через ваш выигрышный опыт. Google (Эксперименты) разработал для этого нечто, что они называют алгоритмом Multi-Arm Bandid, но, насколько я знаю, он не был опубликован в рецензируемом журнале, и, вероятно, по какой-то причине.

Удачи!