Использование потери шарнира для бинарной семантической сегментации

Question

Я исследую идею метода ансамбля для модели семантической сегментации. Сначала я хотел использовать машину опорных векторов в сочетании с UNet/ResNet/DeepLabV3 для последнего слоя. Я обнаружил, что могу использовать «потери шарнира» в качестве функции потерь, и она работает так же, как машина опорных векторов. Но я немного не понимаю, как это будет работать, и если это правильный способ, я пытаюсь это реализовать. Поскольку у меня нет обширных знаний в области компьютерного зрения, я могу ошибаться и копать не ту дыру. Если это так, пожалуйста, дайте мне знать.

Я думал, что результатом слоя Unet будет размер изображения * размер изображения с вероятностями класса для 0 или 1(до применения активации), и я хотел применить машину опорных векторов со всеми этими пиксельными векторами, а затем классифицировать с результатом.

мой вопрос будет

1. Мне кажется, что использование сигмоиды в качестве активации последнего слоя и выбор функции потери шарнира немного отличается от того, что я хотел сделать. Это верно?
2. Могу ли я использовать потерю петли для семантической сегментации (бинарный класс)?
3. Если все вышеупомянутые методы неверны, и если бы я хотел реализовать технику ансамбля (модель семантической сегментации +SVM), как я могу реализовать?

Answer 1

Мне кажется, что использование сигмоиды в качестве активации последнего слоя и выбор функции потери шарнира немного отличается от того, что я хотел сделать. Это верно?

Сигмоид имеет смысл в качестве вашего последнего слоя, поскольку вы работаете с проблемой двоичной классификации, и эта активация сожмет значения между 0 и 1. Для задач двоичной классификации функциями потерь по умолчанию является двоичная перекрестная энтропия (BCE). Шарнир — возможная альтернатива, но для задач, с которыми я работал, он очень редко приводил к лучшим результатам.

Могу ли я использовать потерю петли для семантической сегментации (бинарный класс)?

Чтобы быть полностью уверенным, какую функцию потерь вы должны использовать для своей конкретной проблемы, вы должны тренироваться как с BCE, так и с Hinge. Тем не менее, я бы начал с BCE.

Если все вышеупомянутые методы неверны, и если бы я хотел реализовать технику ансамбля (модель семантической сегментации +SVM), как я могу реализовать?

Используйте чистый нейросетевой подход. Вы получите гораздо лучшие результаты