1.主要函数及作用
tf.nn.softmax：以e为底，除整体的和。把数值压缩到【0，1】之间表示概率
log_softmax：对softmax的概率值求log 解决溢出 方便交叉熵【由logsoftmax nllloss】计算
NLLLoss：负对数 最大似然
crossEntropyLoss：log_softmax+nllloss
KLDivLoss:相对熵==交叉熵-熵 计算更复杂
2.交叉熵 相对熵关系
p：真实分布
q: 近似分布
用q来表示p所额外花的
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
猜您在找
损失函数总结以及python实现：hinge loss(合页损失)、softmax loss、cross_entropy loss(交叉熵损失)
损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系
TensorFlow—softmax_cross_entropy_with_logits函数详解
softmax分类器+cross entropy损失函数的求导
softmax_cross_entropy_with_logits
softmax，softmax loss和cross entropy的区别
softmax、cross entropy和softmax loss学习笔记
卷积神经网络系列之softmax，softmax loss和cross entropy的讲解
sparse_softmax_cross_entropy_with_logits
交叉熵理解：softmax_cross_entropy,binary_cross_entropy,sigmoid_cross_entropy简介