Pytorch-均方差損失函數和交叉熵損失函數

均方差損失函數mse_loss()與交叉熵損失函數cross_entropy()

1.均方差損失函數mse_loss()

均方差損失函數是預測數據和原始數據對應點誤差的平方和的均值。

\[MSE=\frac{1}{N}( y^`−y)^2 \]

N為樣本個數，y'為預測數值，y為正確數值。

代碼實例：

import torch
import torch.nn.functional as F

if __name__ == '__main__':
    data=torch.tensor([1.0,3.0])
    loss=F.mse_loss(torch.tensor([1.0,1.0]),data)
    print(loss)
    # [(1-1)^2+(3-1)^2]/2  = 2

    data1=torch.tensor([2.0,3.0])
    loss=F.mse_loss(torch.tensor([1.0,1.0]),data1)
    print(loss)
    # [(2-1)^2+(3-1)^2]/2  = 2.5

輸出結果

tensor(2.)
tensor(2.5000)

2.交叉熵損失函數cross_entropy()：相比mse_loss()梯度更大了，優化更快了

先引入熵的概念，熵是衡量分布是否穩定的一個概念，衡量一個分布的信息熵的計算公式如下：log默認以2為底

\[Entropy(p)=-\sum_{i=1}^{n} p(i)log p(i) \]

衡量一個分布的信息熵的實例化代碼如下：

import torch

if __name__ == '__main__':
    # 交叉熵一般用於分類問題，如果下面四個數據代表四個類別的比例，
    # 四個類別的比例都相同，這里的熵很高，就不容易判斷。
    data=torch.tensor([0.25,0.25,0.25,0.25])
    # 輸出熵
    print('data的熵為',-(data*torch.log2(data)).sum())
    # 熵越高，越不容易確定

    # 第四個類別的比例為0.97，這里的熵也很低，就比較容易確定。
    data1=torch.tensor([0.01,0.01,0.01,0.97])
    # 輸出熵
    print('data1的熵為',-(data1*torch.log2(data1)).sum())
    # 熵越低，越容易確定

輸出結果

data的熵為 tensor(2.)
data1的熵為 tensor(0.2419)

衡量兩個分布的交叉熵的計算公式如下：

\[Entropy(p,q)=-\sum_{i=1}^{n} p(i)log q(i)=Entropy(p)+D_{kl}(p|q) \]

交叉熵（p,q）=信息熵（p）+相對熵（p|q）,相對熵又稱為kl散度,散度越小，p分布和q分布就越接近 p(i)代表的是正確值 q(i)代表的是預測值

交叉熵損失函數經常出現在分類問題中，因為分類問題需要計算各類別的概率，所以交叉熵損失函數經常與sigmoid()和softmax()激活函數搭配使用。

pytorch中cross_entropy()函數的簡單使用,pytorch中cross_entropy()=softmax()+log()+nll_loss()

import torch
import torch.nn.functional as F
if __name__ == '__main__':
    x=torch.randn(1,784)
    w=torch.randn(10,784)

    logits=x@w.t()
    # logits.shape=([1,10])

    pred=F.softmax(logits,dim=1)
    pred_log=torch.log(pred)
    print(F.nll_loss(pred_log,torch.tensor([1])))

    # cross_entropy(input, target)
    print(F.cross_entropy(logits,torch.tensor([1])))

輸出結果

tensor(62.0603)
tensor(62.0603)