Мультиклассовая семантическая сегментация - активация вывода?

Question

Я пробую мультиклассовую семантическую сегментацию в Keras. Сейчас я использую архитектуру Unet, и у меня есть модель, похожая на эту (но более глубокую):

inputs = Input(shape=(512,512,3))
# 128

down1 = Conv2D(32, (3, 3), activation='relu', padding='same')(inputs)
down1 = BatchNormalization()(down1)
down1 = Dropout(0.1)(down1)
down1 = Conv2D(32, (3, 3), padding='same', activation='relu')(down1)
down1 = BatchNormalization()(down1)
down1_pool = MaxPooling2D((2, 2))(down1)

center = Conv2D(64, (3, 3), padding='same', activation='relu')(down1_pool)
center = BatchNormalization()(center)
center = Dropout(0.1)(center)
center = Conv2D(64, (3, 3), padding='same', activation='relu')(center)
center = BatchNormalization()(center)
# center
up1 = concatenate([Conv2DTranspose(32, (2, 2), strides=(2, 2), padding='same')(center), down1], axis=3)
up1 = Conv2D(32, (3, 3), padding='same', activation='relu')(up1)
up1 = BatchNormalization()(up1)
up1 = Dropout(0.1)(up1)
up1 = Conv2D(32, (3, 3), padding='same', activation='relu')(up1)
up1 = BatchNormalization()(up1)
# 128

classify = Conv2D(3, (1, 1), activation='softmax')(up1)

model = Model(inputs=inputs, outputs=classify]
model.compile(optimizer=Adam(lr=lr), loss='categorical_crossentropy, metrics=[losses.dice_coeff])

Мой набор данных состоит из 680 тыс. Изображений (512, 512, 3) и 680 тыс. Соответствующих меток. Этикетки имеют горячее кодирование и имеют форму (512, 512, 3), то есть 3 класса.

И затем мой вопрос (ы): это правильный способ настроить мою модель? Или я должен использовать активацию 'sigmoid' и 'binary_crossentropy'?

Answer 1

Если ваша метка является бинарной, перейдите с сигмовидной активацией, а если с помощью одного горячего кода, т.е. как вы реализуете, все наоборот, то softmax следует использовать в качестве активации

Answer 2

У меня та же проблема. Я не нашел функцию потерь, которая заставила бы мою модель сходиться. Поэтому я использовал 3 отдельные модели для каждой этикетки. с функцией потери кубика у меня были хорошие результаты для каждого ярлыка. Сейчас я проверяю способы объединения всех трех моделей прогнозов. В вашей модели softmax - это правильная активация, а двоичная и категориальная кросс-энтропия одинаковы, поскольку ваши данные являются двоичными.