遺傳算法（Genetic algorithm）遵循適者生存、優勝劣汰的法則，即尋優過程中保留有用的，去除無用的。在科學和生產實踐中表現為在所有可能的解決方法中找出最符合該問題所要求的條件的解決方法，即找出一個最優解。 遺傳算法有4個參數需要提前設定，一般在以下范圍內進行設置： （1）群體大小 ...

遺傳算法適應度的選擇： 機器學習的適應度可以是任何性能指標 —准確度，精確度，召回率，F1分數等等。根據適應度值，我們選擇表現最佳的父母（“適者生存”），作為幸存的種群。 交配： 存活下來的群體中的父母將通過交配產生后代，使用兩個步驟的組合:交叉/重組和突變。 交叉：交配父母的基因(參數 ...

引言 　　在這篇文章中，我們將探討決策樹模型的最重要參數，以及它們如何防止過度擬合和欠擬合，並且將盡可能少地進行特征工程。我們將使用來自kaggle的泰坦尼克號數據。 導入數據 查看缺失值 把Cabin’, ‘Name’ and ‘Ticket’移除 ...

信息增益。一般說使用默認的基尼系數"gini"就可以了，即CART算法。除非你更喜歡類似ID3, C4.5 ...

1. 決策樹算法 1.1 背景知識 信息量\(I(X)\)：指一個樣本/事件所蘊含的信息，如果一個事情的概率越大，那么就認為該事件所蘊含的信息越少，確定事件不攜帶任何信息量 \(I(X)=-log(p(x))\) 信息熵\(H(X)\)：用來描述系統信息量 ...

算法思想 決策樹（decision tree）是一個樹結構（可以是二叉樹或非二叉樹）。 其每個非葉節點表示一個特征屬性上的測試，每個分支代表這個特征屬性在某個值域上的輸出，而每個葉節點存放一個類別。 使用決策樹進行決策的過程就是從根節點開始，測試待分類項中相應的特征屬性，並按照其值選擇輸出 ...

利用ID3算法來判斷某天是否適合打網球。 （1）類別屬性信息熵的計算由於未分區前，訓練數據集中共有14個實例， 其中有9個實例屬於yes類（適合打網球的），5個實例屬於no類（不適合打網球）， 因此分區前類別屬性的熵為： （2）非類別屬性信息熵 ...

###決策樹基礎概念 在機器學習中，決策樹是一個預測模型，他代表的是對象屬性與對象值之間的一種映射關系。Entropy （熵） 表示的是系統的凌亂程度，它是決策樹的決策依據，熵的概念來源於香儂的信息論。 ###決策樹的決策過程 選擇分裂特征：根據某一指標（信息增益，信息增益比或基尼 ...