Mean Square Error
\[cost(t,o)=\frac{1}{n}\sum\limits_{i=1}^n{(o-t)^2}\]
Binary Cross-Entropy
用于计算 target 和 output 之间的binary 交叉熵。\[cost(t,o)=-{[t\ln(o) + (1-t)\ln (1-o)]}\]
也可以写作:
\[cost(t,o)=\left\{\begin{array}{*{20}{l}}
{\ln o, ~~~~~~t=1,}\\ {\ln (1-o), t=0} \end{array}\right.\]
只不过上面的是一个分段函数，计算的时候不方便。
Categorical Cross-Entropy
度量两个分布之间的距离，记为 $H(p,q)$。
\[H(p,q)=-\sum\limits_x{p(x)\log (q(x))}\]
其中 $p$是 真实分布, $p=[p_1,p_2\cdots,p_n]$. $q$ 是近似分布,$q=[q_1,q_2\cdots,q_n]$.
当两个概率分布完全相同时，即:
\[p(x)=q(x),x=1,2,\cdots,n\]
其相对熵为0。