高斯貝葉斯

高斯貝葉斯用來處理連續數據，假設數據里每個特征項相關聯的數據是連續值並且服從高斯分布，參考這里。

概率公式：


在《白話大數據與機器學習》里使用了sklearn里的GaussionNB來處理連續數據：
訓練模型 clf = GaussianNB().fit(x, y)
預測數據 clf.predict(x)

這里我們來實現一下高斯貝葉斯算法，看看該算法具體是如果實現的。

1 准備數據
首先我們需要一些訓練數據 這里使用鳶尾花數據。
這里x是一個(150, 4)2維數組，總共150條數據，打印其中的5條數據看一下:

[[5.1, 3.5, 1.4, 0.2], [4.9, 3.0, 1.4, 0.2], [4.7, 3.2, 1.3, 0.2], [4.6, 3.1, 1.5, 0.2], [5.0, 3.6, 1.4, 0.2], ... ...]

可以看到每條數據都有4個特征項分別是: 萼片的長度，萼片的寬度，花瓣的長度，花瓣的寬度

y是x里每條數據對應的分類：

[0, 0, 1, 1, 2, …]

可以看到x里對應的分類總共有3種[0，1，2]。

2 訓練模型
其實是求出了屬於每種分類里的數據在每個特征列上的平均值和方差。

計算每種分類里每個特征列的平均值和方差

{0: [[5.1, 3.5, 1.4, 0.2],
     [4.9, 3.0, 1.4, 0.2],
     ... ...],
 1: [[4.7, 3.2, 1.3, 0.2],
     [4.6, 3.1, 1.5, 0,2],
     ... ...],
 2: [[5.0, 3.6, 1.4, 0.2],
     ... ...]}

得到平均值結果集

{0: [5.006, 3.418, 1.464, 0.244],
 1: [5.936, 2.770, 4.260, 1.326],
 2: [6.588, 2.974, 5.552, 2.026]}

得到方差結果集

{0: [0.1210, 0.1420, 0.029, 0.011],
 1: [0.2611, 0.9650, 0.216, 0.038],
 2: [0.3960, 0.1019, 0.298, 0.073]}

3 預測數據
其實是求出待預測數據屬於哪種分類的概率更大。

待預測的數據

[3.1, 4.4, 2.1, 3.1]

計算待預測的數據里面, 每條數據屬於某一類的概率是多少,
調用文章開始給出的概率公式計算, μ就是上一步得到的每個特征列均值，σ 2就是上一步得到的每個特征列方差，xi就是待預測數據里的每個特性項值，
這里分別計算出每個特征項的概率，然后把得到的每個特征項的概率相乘就得到了每條數據屬於某一類的概率

[[8.512, 0.001, 0.006]]

可以看到待預測數據屬於分類0，1，2的概率被計算出來了。

完整代碼可以訪問github進行下載 https://github.com/azheng333/Ml_Algorithm.git。