Рассчитать доверительный интервал для флисс-каппа в R

Question

Я использовал пакет irr из R, чтобы вычислить статистику Капли Флейса для 263 оценщиков, которые оценили 7 фотографий (масштаб 1–7). kappam.fleiss(дБ) предоставил статистику каппа (0,554; z=666) и значение p (0), но, к сожалению, доверительный интервал для включенной статистики каппа отсутствует. Кто-нибудь может мне помочь, как я могу получить доверительный интервал?

Спасибо

---

Добавление примера: названия строк / rater.1 / rater.2 / rater.3 / rater.4 / rater.5 /.... / rater.263 фото 1/6/6/6/6/7 /... / 5 фото 2/1/2/1/1/1 /... / 2 фото 3/5/5/5/5/6 /... / 6 фото 4/3/1/3/3 / 3 /... / 1 ​​фото 5/2/3/2/2/2 /... / 3 фото 6/4/4/4/4/4 /... / 4 фото 7/7/7 / 7/7/5 /... / 7

Answer 1

Доверительный интервал не предоставляется irr пакет. Вполне возможно, что вы могли бы рассчитать его по одной из статистических данных теста, которую можно получить (если так, как было сказано в 42, это вопрос для перекрестной проверки).

Тем не менее, это обеспечивается raters пакет.

library(raters) 
data(diagnostic)
concordance(diagnostic,test="Chisq")
concordance(diagnostic,test="Normal")
concordance(diagnostic,test="MC",B=100)

Inter-rater Agreement 
$Fleiss
      Kappa         LCL         UCL   Std.Error     Z value    Pr(>|z|) 
 0.43024452  0.38247249  0.47801655  0.02437393 17.65183058  0.00000000 

$Statistic
        S       LCL       UCL    pvalue 
0.4444444 0.3555556 0.5404861 0.0000000

https://cran.r-project.org/web/packages/raters/raters.pdf

Answer 2

Разница между функцией kappam.fleiss и функцией согласования в том, что первая предназначена для подробных оценщиков, а вторая - для сводных данных. посмотрите на следующий пример со страницы Википедии:

DATA <- data.frame(Rater1 = c(5, 2, 3, 2, 1, 1, 1, 1, 1, 2))
DATA$Rater2 <- c(5, 2, 3, 2, 1, 1, 1, 1, 1, 2)
DATA$Rater3 <- c(5, 3, 3, 2, 2, 1, 1, 2, 1, 3)
DATA$Rater4 <- c(5, 3, 4, 3, 2, 1, 2, 2, 1, 3)
DATA$Rater5 <- c(5, 3, 4, 3, 3, 1, 2, 2, 1, 4)
DATA$Rater6 <- c(5, 3, 4, 3, 3, 1, 3, 2, 1, 4)
DATA$Rater7 <- c(5, 3, 4, 3, 3, 1, 3, 2, 2, 4)
DATA$Rater8 <- c(5, 3, 4, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater9 <- c(5, 4, 5, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater10 <- c(5, 4, 5, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater11 <- c(5, 4, 5, 3, 3, 2, 3, 4, 2, 5)
DATA$Rater12 <- c(5, 4, 5, 3, 3, 2, 4, 4, 3, 5)
DATA$Rater13 <- c(5, 5, 5, 4, 4, 2, 4, 5, 3, 5)
DATA$Rater14 <- c(5, 5, 5, 4, 5, 2, 4, 5, 4, 5)

library("irr")
kappam.fleiss(DATA)

TABLE <- matrix(rep(0, 50), nrow = 10)
for (COLUMN in 1:5) {
  for (ROW in 1:10) {
    TABLE[ROW, COLUMN] <- sum(DATA[ROW,] == COLUMN)
  }
}


library(raters) 
concordance(db = TABLE, test="Normal")