Как нарисовать ROC-кривую для мультиклассовой модели?
В настоящее время я изучаю поиск ключевых слов. Бумага, которую я недавно прочитал, - это МАЛЕНЬКИЙ КЛЮЧЕВЫЙ КЛАВИШ, использующий глубокие нейронные сети. Они используют кривую ROC для оценки своих моделей. Вот некоторые цифры в газете. У меня есть несколько вопросов о том, как нарисовать эту кривую ROC (для мультиклассовых моделей). 
Во-первых, газета сказала, что
Мы генерируем кривую для каждого ключевого слова и усредняем кривые по вертикали (с фиксированными показателями ФА) по всем проверенным ключевым словам.
Означает ли это, что они сначала создают кривую ROC для каждого ключевого слова и усредняют их? Например, у меня по классификатору можно было распознать собаку, кошку, свинью.
Шаг (1) Я должен нарисовать одну кривую ROC для свиньи, одну для кошки и одну для собаки, пройдя порог. (У меня будет 3 ROC кривой после этого шага)
Шаг (2) И затем усредните эти значения при каждой частоте ложных срабатываний. Если у меня есть следующие цифры, как это
Cat, FAR 2%, FRR 0,4, порог 0,8
Собака, FAR 2%, FRR 0,3, порог 0,4
Свинья, FAR 2%, FRR 0,5, порог 0,5
Тогда окончательный FRR при FAR 2% будет 0,4. Я прав? Насколько я знаю, кривая ROC также может быть использована, чтобы найти лучший порог. Тем не менее, мы не можем найти лучший порог по этой кривой ROC, верно?
Во-вторых, поскольку это мультиклассовая модель, как определить ложную тревогу и ложное отклонение? Например, есть классификатор 3 класса (собака, кошка, свинья) и покажите ему свинью. Классик предсказал, что это кошка. Это ложная тревога для класса кошек, а также ложное отклонение для класса свиней. Кто-нибудь знает, как справиться с этой ситуацией?