Требуются ли для обучения передачи классификации изображений отрицательные примеры?

Question

Задача состоит в том, чтобы определить, к какому из 3-х классов принадлежит изображение или ни к какому.

Получил готовую модель. В EfficientNet B4 с весами ImageNet было применено трансферное обучение для определения 4 классов: 3 целевых и 4 "Нет". Последний обучался на примерах случайных изображений, не содержащих ни одного целевого объекта.

Вопрос в том, правильный ли подход - нужен ли 4 класс?

Моя интуиция подсказывает, что сеть следует тренировать только на трех целевых классах. Если выходные вероятности останутся ниже некоторого порога (90%?), Изображение следует рассматривать как НЕ содержащее ни одного из целевых объектов. Я прав?

Answer 1

Из-за природы функции softmax и способа обучения сети вам нужен 4-й класс.

Давайте посмотрим на конкретный пример: вы обучаете свою сеть различать яблоки, апельсины и бананы. Однако у вас как-то получается фото сливы.

Вы можете быть удивлены на первый взгляд, но вам нужен другой класс в вашем наборе данных. Нет никакой гарантии, что использование порога поможет вам исключить другой класс.

Вы можете ожидать следующих двух случаев:

1. Вероятность выхода гарантированно равна 1/N для неизвестного класса, учитывая, что вы тестируете неизвестный класс N+1.
2. Определенный порог, выше которого (как вы предполагали) <90%, это не класс.

Предположим следующие случаи:

1. Что, если у вас есть случай, в котором яблоко действительно выглядит как апельсин, и ваша модель правильно предсказывает 40% яблоко, 30% апельсин, 30% банан, но, поскольку вы применили свой порог, правильно идентифицированное яблоко (Истинный положительный результат) исключается? Простой случай, когда вы исключаете хороший выход вашей сети
2. Вы все еще можете назначить класс на 91%, хотя прибытие нового "фрукта" не является частью вашего набора данных; это связано с внутренними вычислениями и тем, как работает softmax.

Личный опыт: однажды я обучил сеть различать многие типы дорожных знаков. Из чистого любопытства я привел пример стульев для одной гостиной. Я ожидал того же, что и вы (порог), но, к моему большому удивлению, это было 85% "Yield Way".