Событие активации и частота обновления флага для точного теста AB

Question

Я пытаюсь провести эксперимент, чтобы изменить поведение элемента на шаге 3 приложения. Чтобы данные были точными, я планировал поместить событие активации как событие, которое завершает шаг 2. Теперь значения удаленной конфигурации firebase выбираются при первом запуске приложения, поэтому приложение не получит обновленное значение удаленной конфигурации для флага, который будет использоваться на шаге 3, если я установлю завершение шага 2 как событие активации. Если я получаю и активирую значение флага каждый раз, когда использую флаг, это превысит лимит 5 раз за 60 минут. Как лучше обойти эту проблему?

Answer 1

Таким образом, событие активации для ABT только заставляет пользователей, которые запускают его, начать подсчитываться в эксперименте, оно не активирует фактические значения конфигурации при запуске. Вы должны иметь возможность получать и активировать при запуске приложения, а затем, используя событие активации на шаге 2, пользователь может войти в эксперимент и получить изменение поведения шага 3.

В этой статье рассказывается об активации RC https://firebase.googleblog.com/2017/01/firebase-remote-config-loading.html

И здесь вы найдете более подробную информацию о событиях активации ABT https://firebase.google.com/docs/ab-testing/abtest-config

Answer 2

Я пытался проделать почти тот же процесс, что и вы, и я понимаю, что событие активации может быть вызвано без выборки на шаге 3. Я делаю следующее:

Шаг 1 (при запуске моего приложения)

Получить переменные и активировать, если есть обновления (.fetchAndActivate())

Шаг 2

Просто позвоните в событие активации

Шаг 3

Получите переменную, которая определяет ваш вариант или контрольную группу

---

Что я использовал, чтобы проверить, что это действительно работает (это сложная часть)

1. Удалите свой рекламный идентификатор
2. Удалите свое старое приложение (или вы также можете вызвать FirebaseInstanceId.getInstance(). DeleteInstanceId()), чтобы получить новый токен Firebase
3. Получив новый идентификатор рекламы и токен firebase, вы становитесь новым пользователем FB, поэтому вы получите новый вариант или групповое управление.

---

Важные моменты:

• Варианты, которые предоставляет вам FB, фиксированы для ваших токенов (что имеет смысл для среды Prod), поэтому, когда вы получите один из вариантов, он всегда будет таким же, если вы не сбросите токены (вам нужно сделать это только при тестировании)
• Время захвата, которое вы предоставляете FB, - это локальное управление системой выборки.
• Метод активации только указывает FB, входит ли этот пользователь в эксперимент или нет, но у вас уже есть вариант / контрольная группа, назначенная этому пользователю.