torch.nn.CrossEntropyLoss

class torch.nn.CrossEntropyLoss(weight=None, size_average=True, ignore_index=-100, reduce=True)

我這里沒有詳細解讀這個損失函數的各個參數，僅記錄一下在sru中涉及到的。

sru中代碼如下

criterion = nn.CrossEntropyLoss(size_average=False)

 根據pytorch的官方文檔

我得出的理解跟以上圖片是一致的，圖片來源：http://blog.csdn.net/zhangxb35/article/details/72464152?utm_source=itdadao&utm_medium=referral

跟我之前理解的交叉熵損失函數不太一樣

這里指的交叉熵損失函數應該跟劉建平（http://www.cnblogs.com/pinard/p/6437495.html）里的“使用對數似然損失函數和softmax激活函數進行DNN分類輸出“這個是一致的

關於參數size_average=False，根據pytorch的官方文檔，size_average默認情況下是True，對每個小批次的損失取平均值。 但是，如果字段size_average設置為False，則每個小批次的損失將被相加。如果參數reduce=False，則忽略。