Сравнение коэффициентов каппа (межкодерных соглашений) с категориальными данными

Question

У меня есть список из 282 предметов, который был классифицирован 6 независимыми программистами на 20 категорий.

20 категорий определяются словами (например, "восприятие", "оценка" и т. Д.).

6 кодеров имеют разный статус: 3 из них являются экспертами, 3 являются новичками.

Я вычислил все каппы (и альфы) между каждой парой кодеров, и общие каппы среди 6 кодеров, и каппы между 3 экспертами и между 3 новичками.

Теперь я хотел бы проверить, существует ли существенная разница между соглашениями между участниками, достигнутыми экспертами, и соглашениями, достигнутыми новичками (чья каппа действительно ниже).

Как бы вы подошли к этому вопросу и сообщили о результатах?

Спасибо!

Answer 1

Вы можете, по крайней мере, просто получить Kappa Коэна и его SD в R (<- безусловно, лучший вариант на мой взгляд).

Пакет PresenceAbsence имеет функцию Каппа (см.? Каппа).

Вы можете получить пакет с обычным install.packages("PresenceAbsence"), а затем передать матрицу путаницы, то есть:

# we load the package
library(PresenceAbsence)
# a dummy confusion matrix
cm <- matrix(round(runif(16, 0, 10)), nrow=4)
Kappa(cm)

вы получите каппу и ее сд. Насколько я знаю, существуют ограничения в тестировании с использованием метрики Каппа (например, см. https://en.wikipedia.org/wiki/Cohen's_kappa # Significance_and_magnitude).

надеюсь это поможет