Примените метод PyTorch CrossEntropy для мультиклассовой сегментации

Question

Я пытаюсь реализовать простой пример того, как применить кросс-энтропию к тому, что должно быть результатом моей семантической сегментации CNN.

Используя формат pytorch, я бы получил что-то вроде этого:

out = np.array([[
    [
        [1.,1, 1], 
        [0, 0, 0], 
        [0, 0, 0],
        [0, 0, 0]
    ],
    [
        [0, 0, 0],
        [1, 1, 1],
        [0, 0.,0],
        [0, 0, 0]
    ],
    [
        [0, 0, 0],
        [0, 0, 0],
        [1, 1, 1],
        [0, 0, 0]
    ],
    [
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [1, 1, 1]
    ]
]])

out = torch.tensor(out)

Итак, мои выходные данные имеют измерения (1, 4, 4, 3), представляющие собой пакет из 1 элемента, 4 канала, представляющие 4 возможных класса, и данные по 4 на 3 в каждом, сохраняющие вероятность того, что эта ячейка находится в своем классе.

Теперь моя цель такова:

target=[
        [0, 0, 0],
        [1, 1, 1],
        [2, 2, 2],
        [3, 3, 3]
    ]

Обратите внимание, что в тензоре "вне" каждая строка имеет вероятность 1,0 из этого класса, что приводит к идеальному совпадению с целью.

Например, третий канал (канал 2) имеет свою целую 3-ю строку (строку 2) с вероятностью 1,0 от этого канала и нулями в любом другом месте; так что это соответствует 2 на цели в третьем ряду.

В этом примере я ожидаю минимального значения потерь между двумя тензорами.

Мой вопрос:

• Как лучше всего использовать метод кросс-энтропийной потери в PyTorch, чтобы отразить, что в этом случае нет разницы между целью и ее прогнозом?
• Какую величину потерь я должен ожидать от этого?

Это то, что я получил так далеко:

import torch
from torch.nn import CrossEntropyLoss
import numpy as np

out = torch.Tensor(np.array([[
    [
        [1.,1, 1], 
        [0, 0, 0], 
        [0, 0, 0],
        [0, 0, 0]
    ],
    [
        [0, 0, 0],
        [1, 1, 1],
        [0, 0.,0],
        [0, 0, 0]
    ],
    [
        [0, 0, 0],
        [0, 0, 0],
        [1, 1, 1],
        [0, 0, 0]
    ],
    [
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [1, 1, 1]
    ]
]]))

target = torch.Tensor([[
    [0, 0, 0],
    [1, 1, 1],
    [2, 2, 2],
    [3, 3, 3]
]]).type('torch.LongTensor')

criterion = CrossEntropyLoss()
print(criterion(out, target))

И выводы: tensor(0.7437)

• Разве я не должен ожидать значение ближе к Cero?

заранее спасибо

Answer 1

Посмотрите на описание nn.CrossEntropyLoss функция, прогноз out вы предоставляете nn.CrossEntropyLoss не рассматриваются как вероятности класса, а скорее как логиты; Функция потерь выводит вероятности класса из out используя мягкий Макс поэтому nn.CrossEntropyLoss никогда не будет выводить точно нулевые потери.