Соглашение между экспертами и проблема с аннотациями (например, таблицей)
С этими данными я сталкиваюсь с двумя дилеммами. У меня есть 2 аннотатора, которых я попросил аннотировать / классифицировать 12 изображений на основе следующих категорий: бетон, трава, дерево и здание.
Первая проблема, которую я обнаружил, заключалась в том, что для одного изображения они выбрали несколько категорий, иногда согласных, а иногда и несогласных (они выделены желтым в таблице) - я не знаю, как свести эти ответы в таблицу на правая часть (для расчета согласованности между экспертами). Кто-нибудь может помочь?
Вторая проблема: какой тест на согласие между экспертами лучше всего подходит для этого? Я знаю, что Коэна и Флейсс Каппа будет сложно провести по этому делу. Какие альтернативы вы порекомендуете?
Заранее спасибо.
