Тест Фишера и Пирсона на независимость

Question

Тест Фишера и Пирсона на независимость

В РИ есть 2 набора данных: group1 а также group2,

За group 1 У меня 10 game_id который является идентификатором игры, и мы имеем number это количество раз, когда в эти игры играли group1,

Так что, если мы введем

group1

мы получаем этот вывод

game_id  number
1        758565
2        235289
...
10       87084

За group2 мы получаем

game_id  number
1        79310
2        28564
...
10       9048

Если я хочу проверить, есть ли статистическая разница между group1 а также group2 за первые 2 game_id Я могу использовать критерий хи-квадрат Пирсона.

В РИ просто создай матрицу

# The first 2 'numbers' in group1
a <- c( group1[1,2] , group1[2,2] )
# The first 2 'numbers' in group2
b <- c( group2[1,2], group2[2,2] )
# Creating it on matrix-form
m <- rbind(a,b)

Так m дает нам

a 758565  235289
b 79310  28564

Здесь я могу проверить H: "a не зависит от b", что означает, что пользователи в group1 играть game_id 1 более 2 по сравнению с group2,

В R мы печатаем chisq.test(m) и мы получаем очень низкое значение p, означающее, что мы можем отклонить H, то есть a и b не являются независимыми.

Как найти game_idиграется значительно больше в group1 чем в group2?

0

r statistics

Источник

user5150029 29 сен '15 в 10:17

1 ответ

Решение

Другие вопросы по тегам r statistics

user5193485 29 сен '15 в 12:38 2015-09-29 12:38 · Accepted Answer · 2015-09-29 12:38

Я создал более простую версию только из 3 игр. Я использую критерий хи-квадрат и сравнение пропорций. Лично я предпочитаю второй, поскольку он дает вам представление о том, какой процент вы сравниваете. Запустите скрипт и убедитесь, что вы понимаете процесс.

# dataset of group 1
dt_group1 = data.frame(game_id = 1:3,
                       number_games = c(758565,235289,87084))

dt_group1

#   game_id number_games
# 1       1       758565
# 2       2       235289
# 3       3        87084


# add extra variables
dt_group1$number_rest_games = sum(dt_group1$number_games) - dt_group1$number_games   # needed for chisq.test
dt_group1$number_all_games = sum(dt_group1$number_games)  # needed for prop.test
dt_group1$Prc = dt_group1$number_games / dt_group1$number_all_games  # just to get an idea about the percentages

dt_group1

#   game_id number_games number_rest_games number_all_games        Prc
# 1       1       758565            322373          1080938 0.70176550
# 2       2       235289            845649          1080938 0.21767113
# 3       3        87084            993854          1080938 0.08056336



# dataset of group 2
dt_group2 = data.frame(game_id = 1:3,
                       number_games = c(79310,28564,9048))

# add extra variables
dt_group2$number_rest_games = sum(dt_group2$number_games) - dt_group2$number_games
dt_group2$number_all_games = sum(dt_group2$number_games)
dt_group2$Prc = dt_group2$number_games / dt_group2$number_all_games




# input the game id you want to investigate
input_game_id = 1

# create a table of successes (games played) and failures (games not played)
dt_test = rbind(c(dt_group1$number_games[dt_group1$game_id==input_game_id], dt_group1$number_rest_games[dt_group1$game_id==input_game_id]),
                c(dt_group2$number_games[dt_group2$game_id==input_game_id], dt_group2$number_rest_games[dt_group2$game_id==input_game_id]))

# perform chi sq test
chisq.test(dt_test)

# Pearson's Chi-squared test with Yates' continuity correction
# 
# data:  dt_test
# X-squared = 275.9, df = 1, p-value < 2.2e-16


# create a vector of successes (games played) and vector of total games
x = c(dt_group1$number_games[dt_group1$game_id==input_game_id], dt_group2$number_games[dt_group2$game_id==input_game_id])
y = c(dt_group1$number_all_games[dt_group1$game_id==input_game_id], dt_group2$number_all_games[dt_group2$game_id==input_game_id])

# perform test of proportions
prop.test(x,y)

# 2-sample test for equality of proportions with continuity correction
# 
# data:  x out of y
# X-squared = 275.9, df = 1, p-value < 2.2e-16
# alternative hypothesis: two.sided
# 95 percent confidence interval:
#   0.02063233 0.02626776
# sample estimates:
#   prop 1    prop 2 
# 0.7017655 0.6783155

Главное, что chisq.test это тест, который сравнивает количество / пропорции, поэтому вам нужно указать количество "успехов" и "неудач" для групп, которые вы сравниваете (таблица сопряженности в качестве входных данных). prop.test это еще одна команда для проверки количества / пропорций, в которой нужно указать количество "успехов" и "итогов".

Теперь, когда вы довольны результатом и увидели, как работает этот процесс, я добавлю более эффективный способ выполнения этих тестов.

Первый использует dplyr а также broom пакеты:

library(dplyr)
library(broom)

# dataset of group 1
dt_group1 = data.frame(game_id = 1:3,
                       number_games = c(758565,235289,87084),
                       group_id = 1)  ## adding the id of the group

# dataset of group 2
dt_group2 = data.frame(game_id = 1:3,
                       number_games = c(79310,28564,9048),
                       group_id = 2)  ## adding the id of the group

# combine datasets
dt = rbind(dt_group1, dt_group2)


dt %>%
  group_by(group_id) %>%                                           # for each group id
  mutate(number_all_games = sum(number_games),                     # create new columns
         number_rest_games = number_all_games - number_games,
         Prc = number_games / number_all_games) %>%
  group_by(game_id) %>%                                            # for each game
  do(tidy(prop.test(.$number_games, .$number_all_games))) %>%      # perform the test
  ungroup()


#   game_id  estimate1  estimate2 statistic      p.value parameter     conf.low    conf.high
#     (int)      (dbl)      (dbl)     (dbl)        (dbl)     (dbl)        (dbl)        (dbl)
# 1       1 0.70176550 0.67831546 275.89973 5.876772e-62         1  0.020632330  0.026267761
# 2       2 0.21767113 0.24429962 435.44091 1.063385e-96         1 -0.029216006 -0.024040964
# 3       3 0.08056336 0.07738492  14.39768 1.479844e-04         1  0.001558471  0.004798407

Другой использует data.table а также broom пакеты:

library(data.table)
library(broom)

# dataset of group 1
dt_group1 = data.frame(game_id = 1:3,
                       number_games = c(758565,235289,87084),
                       group_id = 1)  ## adding the id of the group

# dataset of group 2
dt_group2 = data.frame(game_id = 1:3,
                       number_games = c(79310,28564,9048),
                       group_id = 2)  ## adding the id of the group

# combine datasets
dt = data.table(rbind(dt_group1, dt_group2))

# create new columns for each group
dt[, number_all_games := sum(number_games), by=group_id]

dt[, `:=`(number_rest_games = number_all_games - number_games,
          Prc = number_games / number_all_games) , by=group_id]

# for each game id compare percentages
dt[, tidy(prop.test(.SD$number_games, .SD$number_all_games)) , by=game_id]


#    game_id  estimate1  estimate2 statistic      p.value parameter     conf.low    conf.high
# 1:       1 0.70176550 0.67831546 275.89973 5.876772e-62         1  0.020632330  0.026267761
# 2:       2 0.21767113 0.24429962 435.44091 1.063385e-96         1 -0.029216006 -0.024040964
# 3:       3 0.08056336 0.07738492  14.39768 1.479844e-04         1  0.001558471  0.004798407

Вы можете видеть, что каждая строка представляет одну игру, и сравнение проводится между группами 1 и 2. Вы можете получить значения p из соответствующего столбца, но также и другую информацию о тесте / сравнении.