機器學習數學筆記|期望方差協方差矩陣

覺得有用的話,歡迎一起討論相互學習~

本博客為七月在線鄒博老師機器學習數學課程學習筆記
為七月在線打call!!
課程傳送門

簡單概率計算

Example1

• 我們的思路是,若A先到達則假設A是一條長1cm的線段.B出現的概率是一個點,我們只需要讓B這個點落在A這條線段上即可.同理,若B先到達,則假設B是一條長2cm的線段,A出現的概率是一個點,我們需要讓A落在B這條線段上即可.

Example2

事件的獨立性

期望與方差

• \[離散型E(x)=\sum_{i}X_{i}P_{i} \]
  \[連續型E(x)=\int^{\infty}_{-\infty}xf(x)dx \]

期望的性質

• \[E(kX)=kE(X) \]
  \[E(X+Y)=E(X)+E(Y) \]

• 若X和Y相互獨立,即P(AB)=P(A)P(B):
  \[E(XY)=E(X)E(Y) \]
  反之不成立,事實上,若E(XY)=E(X)E(Y)只能說明X和Y 不相關.

Example1

• 從1,2, 3,...98,99,2015這100個數中任意選擇若干個數(可能為0個數)求異或,試求異或的期望值.
  1. 關於異或問題的計算,首先要將其轉化為二進制數的形式.
  2. 其次把握異或的計算法則,異或加法不進位,並且兩位取0,不同取1.兩兩計算,兩數相加之和與第三個數進行計算.
  3. 此題中由於最后一個數最大,所以我們把其作為標准.將其作為第一個加數以二進制展開.

方差

• 定義: $$Var(X)=E{[X-E(X)]^{2}}=E(X^{2})-E^{2}(X)$$
• 無條件成立性質: $$Var(c)=0$$
  \[Var(X+c)=Var(X) \]
  \[Var(kX)=k^{2}Var(X) \]

• X和Y獨立: $$Var(X+Y)=Var(X)+Var(Y)$$
• 方差的平方根稱為標准差.

協方差

• 定義: $$Cov(X,Y)=E{[X-E(X)] [Y-E(Y)]}$$
• 性質: $$Cov(X,Y)=Cov(Y,X)$$
  $$Cov(aX+b,cY+d)=acCov(X,Y)$$ $$Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y)$$
  $$Cov(X,Y)=E(XY)-E(X)E(Y)$$

協方差和獨立/不相關

• X和Y獨立時,E(X,Y)=E(X)E(Y)而Cov(X,Y)=E(XY)-E(X)E(Y),從而當X和Y獨立時,Cov(X,Y)=0
• 但X和Y獨立這個前提太強,我們定義:若Cov(X,Y)=0.則稱X和Y不相關.
• 協方差是兩個隨機變量具有相同方向變化趨勢的度量
• 若Cov(X,Y)大於0,它們的變化趨勢相同
• 若Cov(X,Y)小於0,它們的變化趨勢相反
• 若Cov(X,Y)等於0,稱X和Y不相關

協方差的上界

\[若Var(X)=\sigma_{1}^{2},Var(Y)=\sigma_{2}^{2} \]

\[則|Cov(X,Y)|\leq\sigma_{1}\sigma_{2} \]

\[當且僅當X和Y之間有線性關系時,等號成立(Var()表示方差) \]

再談獨立與不相關

• 因為上述定理的保證,使得"不相關"事實上即"線性獨立"
  • 即:若X與Y不相關,說明X和Y之間沒有線性關系(但是有可能存在其他函數關系),不能保證X和Y相互獨立.
  • 但是X和Y獨立一定是不相關
• 但是對於二維正態隨機變量,X與Y不相關等價於X與Y相互獨立.

Pearson相關系數

協方差矩陣

• 當我們討論兩個事件時,我們稱事件為X,Y,其中對於X事件有很多種情況,我們可以用向量的方式表示一個事件X的不同情況.
• 我們原先討論的是X,Y兩個事件的協方差情況,如果對於n個事件,我們怎樣計算不同事件之間的協方差?--這里引入協方差矩陣的概念.