1、K-近鄰算法(KNN) 1.1 定義 （KNN，K-NearestNeighbor） 如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。 1.2 距離公式 兩個樣本的距離可以通過如下公式計算，又叫歐式距離。 簡單 ...

一，引言 　　前兩章的KNN分類算法和決策樹分類算法最終都是預測出實例的確定的分類結果，但是，有時候分類器會產生錯誤結果；本章要學的朴素貝葉斯分類算法則是給出一個最優的猜測結果，同時給出猜測的概率估計值。 1 准備知識：條件概率公式 相信學過概率論的同學對於概率論絕對不會陌生，如果一時覺得 ...

注：本系列所有博客將持續更新並發布在github上，您可以通過github下載本系列所有文章筆記文件 1 引言 說到朴素貝葉斯算法，很自然地就會想到貝葉斯概率公式，這是我們在高中的時候就學過的內容，沒錯，這也正是朴素貝葉斯算法的核心，今天我們也從貝葉斯概率公式開始，全面擼一擼朴素貝葉斯算法 ...

聲明：本篇博文是學習《機器學習實戰》一書的方式路程，系原創，若轉載請標明來源。 1 貝葉斯定理的引入 概率論中的經典條件概率公式： 公式的理解為，P（X ，Y）= P（Y，X）<=> P（X | Y）P（Y）= P（Y | X）P （X），即 X 和 Y 同時發生的概率與 Y ...

1. 貝葉斯定理 條件概率公式： 這個公式非常簡單，就是計算在B發生的情況下，A發生的概率。但是很多時候，我們很容易知道P(A|B)，需要計算的是P(B|A)，這時就要用到貝葉斯定理： 2. 朴素貝葉斯分類 朴素貝葉斯分類的推導過程就不詳述了，其流程可以簡單的用一張圖來表示 ...

　　朴素貝葉斯是經典的機器學習算法之一，也是為數不多的基於概率論的分類算法。對於大多數的分類算法，在所有的機器學習分類算法中，朴素貝葉斯和其他絕大多數的分類算法都不同。比如決策樹，KNN，邏輯回歸，支持向量機等，他們都是判別方法，也就是直接學習出特征輸出Y和特征X之間的關系，要么是決策函數 ...

1、模型的定義　 　　朴素貝葉斯是基於貝葉斯定理與特征條件獨立假設的分裂方法。首先我們來了解下貝葉斯定理和所要建立的模型。對於給定的數據集 　　 　　假定輸出的類別yi ∈ {c1, c2, ...., ck}，朴素貝葉斯通過訓練數據集的條件概率分布$P(x|y)$來學習聯合概率。因此在 ...

一、概率基礎 概率定義：概率定義為一件事情發生的可能性，例如，隨機拋硬幣，正面朝上的概率。 聯合概率：包含多個條件，且所有條 ...