算法面試准備（一）之----交叉熵與logistic回歸推導

本文轉載自查看原文 2019-10-19 15:19 490 面試准備/ 機器學習/ 穩住能贏/ 復習/ 點/ 數學

牛客上總結很好，但是有一些小錯誤與重復，自己再總結一下好了，順便復習。

交叉熵公式

兩個概率分布和的交叉熵是指，當基於一個“非自然”（相對於“真實”分布而言）的概率分布進行編碼時，在事件集合中唯一標識一個事件所需要的平均比特數（bit）。

$H(p,q)=-\sum _{x}p(x),\log q(x).!$

$ P $ 和 $ Q $ 的KL散度，又叫他們之間的相對熵，注意相對熵和交叉熵是不一樣的。

$D_{{{\mathrm {KL}}}}(P|Q)=\sum _{i}P(i)\ln {\frac {P(i)}{Q(i)}}.!$

可知，

\[D_{{{\mathrm {KL}}}}(P\|Q)=\sum _{i}P(i)\ln { P(i)}+P(i)\ln {\frac {1}{Q(i)}}.\! \]

因此交叉熵和KL散度（又稱相對熵）有如下關系，

$H(p,q)=\operatorname {E} {p}[-\log q]=H(p)+D{\mathrm {KL} }(p|q),!$

互信息的定義

一般地，兩個離散隨機變量 X 和 Y 的互信息可以定義為：

$I(X;Y)=\sum _{{y\in Y}}\sum _{{x\in X}}p(x,y)\log {\left({\frac {p(x,y)}{p(x),p(y)}}\right)},,!$

其中 p(x,y) 是 X 和 Y 的聯合概率分布函數，而 p(x) 和 p(y) 分別是 X 和 Y 的邊緣概率分布函數。

互信息與KL散度的關系

由KL散度定義可知，互信息與KL散度有如下關系，

$I(X;Y)=D_{{{\mathrm {KL}}}}(p(x,y)|p(x)p(y)).$

記 p(x|y) = p(x, y) / p(y) ，事實上還有一個關系，

${\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum {x}p(x|y)\log {2}{\frac {p(x|y)}{p(x)}}\&{}=\sum {y}p(y);D{{{\mathrm {KL}}}}(p(x|y)|p(x))\&{}={\mathbb {E}}{Y}{D{{{\mathrm {KL}}}}(p(x|y)|p(x))}.\end{aligned}}$

互信息與各種熵的關系大匯總。。。

${\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\&{}=H(Y)-H(Y|X)\&{}=H(X)+H(Y)-H(X,Y)\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}$

其中 $\ H(X)$ 和 $\ H(Y)$ 是邊緣熵，H(X|Y) 和 H(Y|X) 是條件熵，而 H(X,Y) 是 X 和 Y 的聯合熵。

下面是其中一個的證明，其它應該也不難證明，如果概念搞清楚的話，

${\begin{aligned}I(X;Y)&{}=\sum _{{x,y}}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}}\&{}=\sum _{{x,y}}p(x,y)\log {\frac {p(x,y)}{p(x)}}-\sum _{{x,y}}p(x,y)\log p(y)\&{}=\sum _{{x,y}}p(x)p(y|x)\log p(y|x)-\sum _{{x,y}}p(x,y)\log p(y)\&{}=\sum _{x}p(x)\left(\sum _{y}p(y|x)\log p(y|x)\right)-\sum _{y}\log p(y)\left(\sum _{x}p(x,y)\right)\&{}=-\sum _{x}p(x)H(Y|X=x)-\sum _{y}\log p(y)p(y)\&{}=-H(Y|X)+H(Y)\&{}=H(Y)-H(Y|X).\\end{aligned}}$

logistic回歸推導

參考我之前cs229學習筆記。

logistic回歸函數與概率模型以及更新公式

人生充滿了巧合。巧就巧在，在我的第一家面試，在上海豪生大酒店三樓，甜橙金融的算法面試。面試官問我的兩個問題就是互信息與KL散度的關系以及邏輯斯蒂克回歸的一些問題。當時一緊張就回答不太好。公式都快忘了，沒有任何准備。

現在正在等面試結果。是2019年10月17號上午10點面的，等得我好慌。

不慌，打不了春招，人生說不定也有驚喜，即使是驚嚇，也練練我的承受力。各項事務匯集在一點，這幾天又要抽送外審的論文。

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 邏輯回歸(Logistic Regression)二分類原理，交叉熵損失函數及python numpy實現算法比較-SVM和logistic回歸常見算法面試之樣本不均衡的解決辦法、交叉熵以及HMM、MEMM vs CRF 交叉熵代價函數(損失函數)及其求導推導交叉熵代價函數(損失函數)及其求導推導交叉熵代價函數（作用及公式推導）交叉熵損失函數來源及求導推導 sigmoid 函數結合交叉熵反向傳播推導線性回歸算法原理推導自己動手寫Logistic回歸算法