決策樹介紹
決策樹是一類機器學習算法，可以實現對數據集的分類、預測等。具體請閱讀我另一篇博客（http://www.cnblogs.com/twocold/p/5424517.html）。
Accord.Net
Accord.Net(http://accord-framework.net/)是一個開源的.Net環境下實現的機器學習算法庫。並且還包括了計算機視覺、圖像處理、數據分析等等許多算法，並且基本上都是用C#編寫的，對於.Net程序員十分友好。代碼在Github托管，並且現在仍在維護中。（https://github.com/accord-net/framework）。此處不再具體介紹，有興趣的可以去官網或者Github下載文檔和代碼深入了解。此處只簡單介紹決策樹部分的實現和使用方法。
決策樹結構
決策樹、顧名思義，肯定是一個和樹結構，作為最基礎的數據結構之一，我們深知樹結構的靈活性。那么Accord.Net是如何實現這種結構的呢？看類圖
首先觀察樹結構中最重要的一個結構，Node類的類圖如下：
簡單介紹下主要屬性方法。
| 屬性 |
含義 |
| IsLeaf |
是否為葉子節點 |
| IsRoot |
是否為根節點 |
| Output |
指示結點的類別信息（葉子節點可用） |
| Value |
為非根節點時，表示其父節點分割特征的值 |
| Branches |
為非葉子節點時，表示其子結點的集合 |
還有樹結構：
| 屬性、方法 |
含義 |
| Root |
根節點 |
| Attributes |
標識各個特征的信息（連續、離散、范圍） |
| InputCount |
特征個數 |
| OutputClasses |
輸出類別種數 |
| Compute() |
計算出某一樣本的類別信息 |
| Load(),Save() |
將決策樹存儲到文件或者讀出 |
| ToAssembly() |
存儲到dll程序集中 |
還有其他依賴項就不再逐一介紹了，Accord的官方文檔里都有更加清晰的講解。
主要想要說的是ID3Learning和C45Learning兩個類。這是Accord.Net實現的兩個決策樹學習（訓練）算法，ID3算法和C4.5算法（ID為Iterative Dichotomiser的縮寫，迭代二分器；C是Classifier的縮寫，即第4.5代分類器）。后面會介紹兩者的區別。
決策樹學習算法：
這里以一個經典的打網球的例子，介紹ID3算法的學習過程。要理解下面的代碼可能需要對決策樹的學習過程有個基本的了解，可以參考開頭給出的鏈接學習下決策樹的基本概念。
| Mitchell's Tennis Example |
|||||
| Day |
Outlook |
Temperature |
Humidity |
Wind |
PlayTennis |
| D1 |
Sunny |
Hot |
High |
Weak |
No |
| D2 |
Sunny |
Hot |
High |
Strong |
No |
| D3 |
Overcast |
Hot |
High |
Weak |
Yes |
| D4 |
Rain |
Mild |
High |
Weak |
Yes |
| D5 |
Rain |
Cool |
Normal |
Weak |
Yes |
| D6 |
Rain |
Cool |
Normal |
Strong |
No |
| D7 |
Overcast |
Cool |
Normal |
Strong |
Yes |
| D8 |
Sunny |
Mild |
High |
Weak |
No |
| D9 |
Sunny |
Cool |
Normal |
Weak |
Yes |
| D10 |
Rain |
Mild |
Normal |
Weak |
Yes |
| D11 |
Sunny |
Mild |
Normal |
Strong |
Yes |
| D12 |
Overcast |
Mild |
High |
Strong |
Yes |
| D13 |
Overcast |
Hot |
Normal |
Weak |
Yes |
| D14 |
Rain |
Mild |
High |
Strong |
No |
首先，為了后面進一步構造決策樹，我們需要把上面的數據簡化一下，以字符串存儲和進行比較會消耗大量的內存空間，並且降低效率。考慮到所有特征都為離散特征，可以直接用最簡單的整型表示就行，只要保存下數字和字符串的對應關系就行。Accord.Net用了CodeBook來實現，這里也就不具體介紹了。然后需要對樹的一些屬性進行初始化，比如特征的個數（InputCount），類別數（OutputClasses）。還有每個特征可能的取值個數。接下來就可以利用上面codebook轉義過的樣本數據進行構造了。
下面貼出ID3算法中遞歸方法的偽代碼，大致講解下其實現邏輯（注：此代碼刪去了很多細節，因此無法運行，只大概了解其實現邏輯。）。
/// <summary> /// 決策樹學習的分割構造遞歸方法 /// </summary> /// <param name="root">當前遞歸結點</param> /// <param name="input">輸入樣本特征</param> /// <param name="output">樣本對應類別</param> /// <param name="height">當前結點層數</param> private void split(DecisionNode root, int[][] input, int[] output, int height) { //遞歸return條件 //1.如果output[]都相等，就是說當前所有樣本類別相同，則遞歸結束。結點標記為葉子節點，output值標識為樣本類別值 double entropy = Statistics.Tools.Entropy(output, outputClasses); if (entropy == 0) { if (output.Length > 0) root.Output = output[0]; return; } //2.如果當前路徑上所有特征都用過一次了，也就是說現在所有樣本在所有特征上取值相同，也就沒法划分了；遞歸結束。結點標記為葉子節點，output值標識為樣本類別值最多的那個 //這個變量存儲的是還未使用的特征個數 int candidateCount = attributeUsageCount.Count(x => x < 1); if (candidateCount == 0) { root.Output = Statistics.Tools.Mode(output); return; } // 如果需要繼續分裂，則首先尋找最優分裂特征， // 存儲剩余所有可以特征的信息增益大小 double[] scores = new double[candidateCount]; // 循環計算每個特征分裂時的信息增益存儲到scores里 Parallel.For(0, scores.Length, i => { scores[i] = computeGainRatio(input, output, candidates[i], entropy, out partitions[i], out outputSubs[i]); } // 獲取到最大信息增益對應的特征 int maxGainIndex = scores.Max(); // 接下來 需要按照特征的值分割當前的dataset，然后傳遞給子節點 遞歸 DecisionNode[] children = new DecisionNode[maxGainPartition.Length]; for (int i = 0; i < children.Length; i++) { int[][] inputSubset = input.Submatrix(maxGainPartition[i]); split(children[i], inputSubset, outputSubset, height + 1); // 遞歸每個子節點 } root.Branches.AddRange(children); }
此代碼僅為方便理解，具體實現細節請自行下載Accord源代碼閱讀，相信您會有不少收獲。
C4.5的實現與ID3算法流程基本相同，有幾個不同之處
1) 在選擇最優分割特征時，ID3算法采用的是信息增益，C4.5采用的是增益率。
2) C4.5支持連續型特征，因此，在遞歸進行之前，要采用二分法計算出n-1個候選划分點，將這些划分點當做離散變量處理就和ID3過程一致了。同樣是因為連續型變量，這樣一條路徑下連續型特征可以多次用來分割，而離散型特征每個只能用一次。
3) C4.5支持缺失值的處理，遺憾的是Accord中並沒有加入這一特性。
Accord.Net中還給出了簡單的剪枝算法，有興趣可以自行閱讀。
以上面的打網球例子，這里給出Accord.Net中構造和訓練決策樹的代碼示例。
//數據輸入 存儲為DataTable DataTable data = new DataTable("Mitchell's Tennis Example"); data.Columns.Add("Day"); data.Columns.Add("Outlook"); data.Columns.Add("Temperature"); data.Columns.Add("Humidity"); data.Columns.Add("Wind"); data.Columns.Add("PlayTennis"); data.Rows.Add("D1", "Sunny", "Hot", "High", "Weak", "No"); data.Rows.Add("D2", "Sunny", "Hot", "High", "Strong", "No"); data.Rows.Add("D3", "Overcast", "Hot", "High", "Weak", "Yes"); data.Rows.Add("D4", "Rain", "Mild", "High", "Weak", "Yes"); data.Rows.Add("D5", "Rain", "Cool", "Normal", "Weak", "Yes"); data.Rows.Add("D6", "Rain", "Cool", "Normal", "Strong", "No"); data.Rows.Add("D7", "Overcast", "Cool", "Normal", "Strong", "Yes"); data.Rows.Add("D8", "Sunny", "Mild", "High", "Weak", "No"); data.Rows.Add("D9", "Sunny", "Cool", "Normal", "Weak", "Yes"); data.Rows.Add("D10", "Rain", "Mild", "Normal", "Weak", "Yes"); data.Rows.Add("D11", "Sunny", "Mild", "Normal", "Strong", "Yes"); data.Rows.Add("D12", "Overcast", "Mild", "High", "Strong", "Yes"); data.Rows.Add("D13", "Overcast", "Hot", "Normal", "Weak", "Yes"); data.Rows.Add("D14", "Rain", "Mild", "High", "Strong", "No"); // 創建一個CodeBook對象，用於將data中的字符串“翻譯”成整型 Codification codebook = new Codification(data, "Outlook", "Temperature", "Humidity", "Wind", "PlayTennis"); // 將data中的樣本特征數據部分和類別信息分別轉換成數組 DataTable symbols = codebook.Apply(data); int[][] inputs = Matrix.ToArray<double>(symbols, "Outlook", "Temperature", "Humidity", "Wind"); int[] outputs = Matrix.ToArray<int>(symbols, "PlayTennis"); //分析得出每個特征的信息，如，每個特征的可取值個數。 DecisionVariable[] attributes = DecisionVariable.FromCodebook(codebook, "Outlook", "Temperature", "Humidity", "Wind"); int classCount = 2; //兩種可能的輸出，打網球和不打 //根據參數初始化一個樹結構 DecisionTree tree = new DecisionTree(attributes, classCount); // 創建一個ID3訓練方法 ID3Learning id3learning = new ID3Learning(tree); // 訓練該決策樹 id3learning.Run(inputs, outputs); //現在即可使用訓練完成的決策樹預測一個樣本，並借助codebook“翻譯”回來 string answer = codebook.Translate("PlayTennis",tree.Compute(codebook.Translate("Sunny", "Hot", "High", "Strong")));
貼一張利用決策樹做的小例子。
