Как измерить модель после A/B тестирования?

Question

Я работаю над системой, которая работала годами, и теперь они решили добавить механизм рекомендаций. После проведения A/B-тестирования мы определимся с моделью. Теперь, есть ли способ измерить, насколько хорошо эта модель работает?

Answer 1

Ваша целевая метрика является вопросом эксперимента, и, как правило, никто не сможет ответить на этот вопрос лучше, чем вы. Как правило, вам нужен способ измерения вовлеченности. Частично это произойдет немедленно, но некоторые эффекты могут быть зарегистрированы в течение более длительного периода времени, например, когда пользователь запомнил вашу рекомендацию, но вернулся к ней через некоторое время. О немедленном воздействии, например щелчке по рекомендованному элементу, легко записать, поскольку оно происходит в сроки текущего пользовательского опыта. Долгосрочное воздействие труднее записать, потому что вам понадобится способ соотнести скрытое действие с рекомендациями, которые произошли некоторое время назад.