Можно ли выполнить пиксельную классификацию, где каждый пиксель имеет несколько меток?

Question

Используя CNN, я хотел бы сделать изображение, где каждый пиксель снабжен 3 метками. Что-то вроде этого:

0,1 (not object/object)
0,1,2,3... (Class of object, eg cat,dog)
0,1,2,3...(Object Number of given class eg, 2nd instance of cat)

Другими словами, учитывая изображение нескольких кошек и собак, CNN выведет, что данный пиксель принадлежит объекту, этот объект является кошкой и принадлежит второму экземпляру кошки на изображении (считая от левого верхнего угла для пример).

Возможно ли это сделать с одним CNN, или мне нужно объединить несколько CNN для достижения этого результата?

РЕДАКТИРОВАТЬ: я должен отметить, что я понимаю, что я первоначально должен был бы обучить CNN с аннотированными изображениями, где у каждого пикселя уже есть 2 или 3 метки как выше.

Answer 1

Вы должны посмотреть в полностью сверточные нейронные сети. По сути, это CNN без полностью связанных слоев, вместо этого они содержат деконволюционные слои. Таким образом, учитывая изображение размера NxN, оно выводит изображение размера NxN, каждый пиксель имеет свою метку, которая имеет прямое применение в семантической сегментации.