Pytorch-區分nn.BCELoss()、nn.BCEWithLogitsLoss()和nn.CrossEntropyLoss() 的用法

詳細理論部分可參考https://www.cnblogs.com/wanghui-garcia/p/10862733.html

BCELoss()和BCEWithLogitsLoss()的輸出logits和目標labels（必須是one_hot形式）的形狀相同。

CrossEntropyLoss()的目標labels的形狀是[3, 1]（以下面為例，不能是one_hot形式），輸出logits是[3, 2]。如果是多分類，labels的形狀是[batch, 1]，值為0~num_classes-1之間。

import torch
import torch.nn as nn
import torch.nn.functional as F

m = nn.Sigmoid()

loss_f1 = nn.BCELoss()
loss_f2 = nn.BCEWithLogitsLoss()
loss_f3 = nn.CrossEntropyLoss()

logits = torch.randn(3, 2)
labels = torch.FloatTensor([[0, 1], [1, 0], [1, 0]])

print(loss_f1(m(logits), labels))      #tensor(0.9314)，注意logits先被激活函數作用
print(loss_f2(logits, labels))         #tensor(0.9314)

label2 = torch.LongTensor([1, 0, 0])
print(loss_f3(logits, label2))         #tensor(1.2842)

logits3 = torch.randn(3, 10)       #如果是十分類 
label3 = torch.LongTensor([9, 2, 5])
print(loss_f3(logits3, label3))        #tensor(2.6467)

 如果label2也想變成labels，然后通過BCELoss進行計算的話，可以先轉變成獨熱編碼的形式：

encode = F.one_hot(label2, num_classes = 2)               #encode的值和labels一樣，但是類型是LongTensor
print(loss_f1(m(logits), encode.type(torch.float32)))     #tensor(0.9314)

Tip：BCEWithLogitsLoss()可以用於多標簽分類，將最后分類層的每個輸出節點使用sigmoid激活函數激活，然后對每個輸出節點和對應的標簽計算交叉熵損失函數。

import torch
import numpy as np

pred = np.array([[-0.4089, -1.2471, 0.5907],
                [-0.4897, -0.8267, -0.7349],
                [0.5241, -0.1246, -0.4751]])
label = np.array([[0, 1, 1],
                  [0, 0, 1],
                  [1, 0, 1]])

pred = torch.from_numpy(pred).float()
label = torch.from_numpy(label).float()

crition1 = torch.nn.BCEWithLogitsLoss()
loss1 = crition1(pred, label)
print(loss1)　　　　　　　　　　　　　　＃tensor(0.7193)

crition2 = torch.nn.MultiLabelSoftMarginLoss()
loss2 = crition2(pred, label)
print(loss2)　　　　　　　　　　　　　　＃tensor(0.7193)