算法面试准备（一）之----交叉熵与logistic回归推导

本文转载自查看原文 2019-10-19 15:19 490 面试准备/ 机器学习/ 稳住能赢/ 复习/ 点/ 数学

牛客上总结很好，但是有一些小错误与重复，自己再总结一下好了，顺便复习。

交叉熵公式

两个概率分布和的交叉熵是指，当基于一个“非自然”（相对于“真实”分布而言）的概率分布进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。

$H(p,q)=-\sum _{x}p(x),\log q(x).!$

$ P $ 和 $ Q $ 的KL散度，又叫他们之间的相对熵，注意相对熵和交叉熵是不一样的。

$D_{{{\mathrm {KL}}}}(P|Q)=\sum _{i}P(i)\ln {\frac {P(i)}{Q(i)}}.!$

可知，

\[D_{{{\mathrm {KL}}}}(P\|Q)=\sum _{i}P(i)\ln { P(i)}+P(i)\ln {\frac {1}{Q(i)}}.\! \]

因此交叉熵和KL散度（又称相对熵）有如下关系，

$H(p,q)=\operatorname {E} {p}[-\log q]=H(p)+D{\mathrm {KL} }(p|q),!$

互信息的定义

一般地，两个离散随机变量 X 和 Y 的互信息可以定义为：

$I(X;Y)=\sum _{{y\in Y}}\sum _{{x\in X}}p(x,y)\log {\left({\frac {p(x,y)}{p(x),p(y)}}\right)},,!$

其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而 p(x) 和 p(y) 分别是 X 和 Y 的边缘概率分布函数。

互信息与KL散度的关系

由KL散度定义可知，互信息与KL散度有如下关系，

$I(X;Y)=D_{{{\mathrm {KL}}}}(p(x,y)|p(x)p(y)).$

记 p(x|y) = p(x, y) / p(y) ，事实上还有一个关系，

${\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum {x}p(x|y)\log {2}{\frac {p(x|y)}{p(x)}}\&{}=\sum {y}p(y);D{{{\mathrm {KL}}}}(p(x|y)|p(x))\&{}={\mathbb {E}}{Y}{D{{{\mathrm {KL}}}}(p(x|y)|p(x))}.\end{aligned}}$

互信息与各种熵的关系大汇总。。。

${\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\&{}=H(Y)-H(Y|X)\&{}=H(X)+H(Y)-H(X,Y)\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}$

其中 $\ H(X)$ 和 $\ H(Y)$ 是边缘熵，H(X|Y) 和 H(Y|X) 是条件熵，而 H(X,Y) 是 X 和 Y 的联合熵。

下面是其中一个的证明，其它应该也不难证明，如果概念搞清楚的话，

${\begin{aligned}I(X;Y)&{}=\sum _{{x,y}}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}}\&{}=\sum _{{x,y}}p(x,y)\log {\frac {p(x,y)}{p(x)}}-\sum _{{x,y}}p(x,y)\log p(y)\&{}=\sum _{{x,y}}p(x)p(y|x)\log p(y|x)-\sum _{{x,y}}p(x,y)\log p(y)\&{}=\sum _{x}p(x)\left(\sum _{y}p(y|x)\log p(y|x)\right)-\sum _{y}\log p(y)\left(\sum _{x}p(x,y)\right)\&{}=-\sum _{x}p(x)H(Y|X=x)-\sum _{y}\log p(y)p(y)\&{}=-H(Y|X)+H(Y)\&{}=H(Y)-H(Y|X).\\end{aligned}}$

logistic回归推导

参考我之前cs229学习笔记。

logistic回归函数与概率模型以及更新公式

人生充满了巧合。巧就巧在，在我的第一家面试，在上海豪生大酒店三楼，甜橙金融的算法面试。面试官问我的两个问题就是互信息与KL散度的关系以及逻辑斯蒂克回归的一些问题。当时一紧张就回答不太好。公式都快忘了，没有任何准备。

现在正在等面试结果。是2019年10月17号上午10点面的，等得我好慌。

不慌，打不了春招，人生说不定也有惊喜，即使是惊吓，也练练我的承受力。各项事务汇集在一点，这几天又要抽送外审的论文。

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 逻辑回归(Logistic Regression)二分类原理，交叉熵损失函数及python numpy实现算法比较-SVM和logistic回归常见算法面试之样本不均衡的解决办法、交叉熵以及HMM、MEMM vs CRF 交叉熵代价函数(损失函数)及其求导推导交叉熵代价函数(损失函数)及其求导推导交叉熵代价函数（作用及公式推导）交叉熵损失函数来源及求导推导 sigmoid 函数结合交叉熵反向传播推导线性回归算法原理推导自己动手写Logistic回归算法