1.主要函數及作用
tf.nn.softmax：以e為底，除整體的和。把數值壓縮到【0，1】之間表示概率
log_softmax：對softmax的概率值求log 解決溢出 方便交叉熵【由logsoftmax nllloss】計算
NLLLoss：負對數 最大似然
crossEntropyLoss：log_softmax+nllloss
KLDivLoss:相對熵==交叉熵-熵 計算更復雜
2.交叉熵 相對熵關系
p：真實分布
q: 近似分布
用q來表示p所額外花的
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
猜您在找
損失函數總結以及python實現：hinge loss(合頁損失)、softmax loss、cross_entropy loss(交叉熵損失)
損失函數softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之間的區別與聯系
TensorFlow—softmax_cross_entropy_with_logits函數詳解
softmax分類器+cross entropy損失函數的求導
softmax_cross_entropy_with_logits
softmax，softmax loss和cross entropy的區別
softmax、cross entropy和softmax loss學習筆記
卷積神經網絡系列之softmax，softmax loss和cross entropy的講解
sparse_softmax_cross_entropy_with_logits
交叉熵理解：softmax_cross_entropy,binary_cross_entropy,sigmoid_cross_entropy簡介