1、說在前面 最近在學習object detection的論文，又遇到交叉熵、高斯混合模型等之類的知識，發現自己沒有搞明白這些概念，也從來沒有認真總結歸納過，所以覺得自己應該沉下心，對以前的知識做一個回顧與總結，特此先簡單倒騰了一下博客，使之美觀一些，再進行總結。本篇博客先是對交叉熵損失函數進行 ...

、cross_entropy loss(交叉熵損失)： 1：hinge loss(合頁損失) 又叫 ...

目錄 信息量 熵 相對熵（Relative Entropy） 交叉熵（Cross Entropy） 本文介紹交叉熵的概念，涉及到信息量、熵、相對熵、交叉熵； 信息量 信息量是用來衡量一個事件發生的不確定性，一個事件發生的概率越大，不確定性越小 ...

在信息論中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推廣。熵能量化了系統的多樣性，不確定性或隨機性。Rényi熵以AlfrédRényi命名。在分形維數估計的背景下，Rényi熵構成了廣義維數概念的基礎。 Rényi熵在生態學和統計學中是重要的多樣性指標。Rényi熵 ...

上一篇博客熵（entropy）：宇宙的終極規則 比較有哲理性，但對於熵具體的解釋沒有太多，有的地方可能不太明白，比如冰變水應該是一個吸收熱量的過程，文中舉得例子冰變成水，從有序變成無序，是一個能量釋放的工程，這個能量是指熱量還是其他的？下面這篇文章科普一下。 有一種概念對物理和化學有極 ...

二分~多分~Softmax~理預 一、簡介 　在二分類問題中，你可以根據神經網絡節點的輸出，通過一個激活函數如Sigmoid，將其轉換為屬於某一類的概率，為了給出具體的分類結果，你可以取0.5作為閾值，凡是大於0.5的樣本被認為是正類，小於0.5則認為是負類 　然而這樣的做法並不容易推廣 ...

之所以會有這個問題，是因為在學習 logistic regression 時，《統計機器學習》一書說它的負對數似然函數是凸函數，而 logistic regression 的負對數似然函數（negative log likelihood）和 交叉熵函數（cross entropy）具有一樣的形式 ...

交叉熵 分類問題常用的損失函數為交叉熵（Cross Entropy Loss）。 交叉熵描述了兩個概率分布之間的距離，交叉熵越小說明兩者之間越接近。 原理這篇博客介紹的簡單清晰： https://blog.csdn.net/xg123321123/article/details ...