機器學習數學筆記|概率論基礎常見概型分布期望與方差

覺得有用的話,歡迎一起討論相互學習~

本博客為七月在線鄒博老師機器學習數學課程學習筆記
為七月在線打call!!
課程傳送門

概率論

• 對概率的認識,x表示一個事件,則P(x)表示事件發生的概率,其中不可能發生的事件P(x)=0,一定會發生的事件P(x)=1.

\[P(x)\in{[0,1]} \]

• 但是事件出現的概率是0,並不意味着這個事件不可能發生.概率為1也並不意味着事件一定發生
• 若x為離散/連續變量,則P(x=x0)表示X0發生的概率/概率分布
• 機器學習中不刻意區別離散/連續變量

\[\sum{F(x)}和\int{f(x)}意義完全相同 \]

公式可以等價看待,前者表示離散變量,后者表示連續變量

• 累計分布函數:

\[\phi{(x)}=P(x<=x_{0}) \]

計算的是\(x<=x_{0}\)的概率值的和.

• 因為\(P(x)\in{[0,1]}\),是正數,所以\(\phi{(x)}\)一定是 單增函數
• \(min(\phi{(x)})=0,max(\phi{(x)})=1\)
• 因此可以將值域為[0,1]的單調遞增函數y=f(x)看成x事件的累積概率(cumulative distribution function,CDF),若y=f(x)可導,則p(x)=\(f^{'}(x)為概率密度函數(probability density function, pdf)\)

古典概型

• 如果一個隨機試驗所包含的單位事件是有限的，且每個單位事件發生的可能性均相等，則這個隨機試驗叫做拉普拉斯試驗，這種條件下的概率模型就叫古典概型。
• 遇到古典概型的問題,首先計算出所有可能的情況,然后計算出滿足條件的情況,將兩者相除后得到的即為事件的概率.

\[N(N-1)(N-2)(N-3)(N-4)...(N-n+1)=P^{n}_{N} \]

\[P(A)=\frac{P^n_{N}}{N^{n}} \]

概率公式

貝葉斯概率公式

百度詞條
以下內容部分或全部摘自百度詞條

定義--摘自百度

• 貝葉斯的統計學中有一個基本的工具叫貝葉斯公式、也稱為貝葉斯法則， 盡管它是一個數學公式，但其原理毋需數字也可明了。如果你看到一個人總是做一些好事，則那個人多半會是一個好人。這就是說，當你不能准確知悉一個事物的本質時，你可以依靠與事物特定本質相關的事件出現的多少去判斷其本質屬性的概率。 用數學語言表達就是：支持某項屬性的事件發生得愈多，則該屬性成立的可能性就愈大。
• 貝葉斯公式又被稱為貝葉斯定理、貝葉斯規則是概率統計中的應用所觀察到的現象對有關概率分布的主觀判斷（即先驗概率）進行修正的標准方法。
• 所謂貝葉斯公式，是指當分析樣本大到接近總體數時，樣本中事件發生的概率將接近於總體中事件發生的概率。但行為經濟學家發現，人們在決策過程中往往並不遵循貝葉斯規律，而是給予最近發生的事件和最新的經驗以更多的權值，在決策和做出判斷時過分看重近期的事件。面對復雜而籠統的問題，人們往往走捷徑，依據可能性而非根據概率來決策。這種對經典模型的系統性偏離稱為“偏差”。由於心理偏差的存在，投資者在決策判斷時並非絕對理性，會行為偏差，進而影響資本市場上價格的變動。但長期以來，由於缺乏有力的替代工具，經濟學家不得不在分析中堅持貝葉斯法則。

\[條件概率:P(A|B)=\frac{P(AB)}{(B)} \]

\[全概率公式=P(A)=\sum_{i}P(A|B_{i})P(B_{i}) \]

\[貝葉斯(Bayes)公式:P(B_{i}|A)=\frac{P(B_{i},A)}{P(A)}=\frac{P(A|B_{i})P(B_{i})}{\sum_{j}P(A|B_{j})P(B_{j})} \]

• P(A)是A的先驗概率或邊緣概率,之所以成為"先驗"是因為它不考慮任何B方面的概率.
• P(A|B)是已知B發生后A的條件概率,也由於得自於B的取值,而稱為A的后驗概率.
• P(B|A)是已知A發生后B的條件概率,也由於得自於A的取值,而稱為B的后驗概率.
• P(B)是B的先驗概率或邊緣概率,也稱為"標准化常量"

Example

兩種認識下的兩個學派

分布

Logistic函數/Sigmoid 函數