Парный T-тест для различных наборов переменных

Question

Имеет ли смысл сравнивать результаты алгоритма машинного обучения для разных наборов переменных / атрибутов, но одного и того же образца?

Я сравниваю различные группы переменных / атрибутов, чтобы найти наиболее эффективные из них. Обычно вы используете t-тесты для сравнения, если другой образец имеет существенно отличающиеся результаты по тем же переменным. Могу ли я сделать это наоборот?

Answer 1

Если вы хотите сравнить два значения, полученные из одной выборки, вы можете использовать t-тест для одной выборки.

Однако, если вы хотите сравнить более двух значений, вам не следует использовать t-тесты из-за проблемы множественных сравнений. По сути, это просто означает, что чем больше t-тестов вы вычисляете, тем выше вероятность получить ошибку типа 1. Во избежание этого вы можете рассчитать повторные измерения ANOVA с парными сравнениями (например, Bonferroni).