本文介紹幾個常用的與期望有關的不等式。
1 Cauchy–Schwarz不等式
Cauchy–Schwarz不等式有許多形式，這里只介紹它的期望函數的形式。
Cauchy–Schwarz不等式：
\[[\text{E}(XY)]^2 \leq \text{E}(X^2)\text{E}(Y^2) \]
證明非常簡單，只需先將\(Y\)分解為相互正交的兩部分（類似於OLS回歸）：
\[Y=\dfrac{\text{E}(XY)}{\text{E}(X^2)}X+\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right) \]
然后兩邊取平方，再求期望。注意到取平方后交叉項的期望
\[\text{E}\left[\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\cdot\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right)\right]=\dfrac{\text{E}(XY)^2}{\text{E}(X^2)}-\dfrac{\text{E}(XY)^2}{\text{E}(X^2)}=0 \]
交叉項期望為\(0\)，因此，只剩平方項的期望：
\[\begin{aligned} \text{E}(Y^2)&=\dfrac{\text{E}(XY)^2}{\text{E}(X^2)^2}\text{E}(X^2)+\text{E}\left[\left(Y-\dfrac{\text{E}(XY)}{\text{E}(X^2)}X\right)^2\right]\\ &\geq \dfrac{\text{E}(XY)^2}{\text{E}(X^2)} \end{aligned} \]
得證。
2 Hölder不等式
事實上，Cauchy–Schwarz不等式是Hölder不等式的特例。
Hölder不等式：\(X\)和\(Y\)為兩個隨機變量，正數\(p\)和\(q\)滿足
\[\dfrac{1}{p}+\dfrac{1}{q}=1 \]
則有
\[\text{E}\vert XY\vert\leq \left[\text{E}\vert X\vert^p\right]^{1/p}\left[\text{E}\vert Y\vert^q\right]^{1/q} \]
證明過程如下：首先證明對於任意正數\(a\)和\(b\)，且正數\(p\)和\(q\)滿足\(\dfrac{1}{p}+\dfrac{1}{q}=1\)，必有
\[\dfrac{1}{p}a^p+\dfrac{1}{q}b^q\geq ab \]
當且僅當\(a^p=b^q\)時等號成立。
該式的證明，只需構造函數\(g(a)=\dfrac{1}{p}a^p+\dfrac{1}{q}b^q - ab\)，該函數最小值在\(a^{p-1}=b\)時取到\(0\)，因此上式成立。
有了這一步，再將\(a=\dfrac{\vert X\vert}{\left[\text{E}(\vert X\vert^p)\right]^{1/p}}\)和\(b=\dfrac{\vert Y\vert}{\left[\text{E}(\vert Y\vert^q)\right]^{1/q}}\)代入，再對兩邊同時取期望，即可證得Hölder不等式。
3 Minkowski不等式
利用Hölder不等式，可以得到另一個重要的不等式：Minkowski不等式。
Minkowski不等式：已知隨機變量\(X\)和\(Y\)，當\(1\leq q<\infty\)時，必有
\[\left[\text{E}(\vert X+Y \vert^p)\right]^{1/p}\leq \left[\text{E}(\vert X\vert^p)\right]^{1/p}+\left[\text{E}(\vert Y \vert^p)\right]^{1/p} \]
它的證明如下：
取滿足\(\dfrac{1}{p}+\dfrac{1}{q}=1\)的\(q\)，有
\[\begin{aligned} \text{E}(\vert X+Y \vert^p) =& \text{E}\left(\vert X+Y \vert \vert X+Y \vert^{p-1}\right)\\ \leq& \text{E}\left(\vert X \vert \vert X+Y \vert^{p-1}\right)+\text{E}\left(\vert Y \vert \vert X+Y \vert^{p-1}\right)\\ \leq& \left[\text{E}\left(\vert X \vert^p\right)\right]^{1/p}\left[\text{E}\left(\vert X+Y \vert^{(p-1)q}\right)\right]^{1/q}\\ & +\left[\text{E}\left(\vert Y \vert^p\right)\right]^{1/p}\left[\text{E}\left(\vert X+Y \vert^{(p-1)q}\right)\right]^{1/q}\\ =&\left\{\left[\text{E}\left(\vert X \vert^p\right)\right]^{1/p}+\left[\text{E}\left(\vert Y \vert^p\right)\right]^{1/p}\right\}\left[\text{E}\left(\vert X+Y \vert^{p}\right)\right]^{1/q} \end{aligned} \]
其中，第一個不等式用到了三角不等式\(\vert X\pm Y\vert \leq \vert X\vert+\vert Y\vert\)，第二個不等式則是直接使用Hölder不等式。
最后兩邊同除以\(\left[\text{E}\left(\vert X+Y \vert^{p}\right)\right]^{1/q}\)，即得證。
