決策樹C4.5了解一下[微笑]

決策樹遵循“分而治之”策略，是一種樹形結構，其中每個內部結點表示在一個屬性上的測試，每個分支代表一個測試輸出，每個葉結點代表一種類別，目的是產生一顆泛化能力強，即處理未見示例能力強的決策樹。

優點：可以自學習

缺點：過擬合、泛化能力弱,生成的樹不一定全局最優

划分選擇：決策樹學習的關鍵是如何划分屬性，使得結點的“純度”越來越高，具體的可按照三種划分標准。

1.信息增益(ID3決策樹學習算法)：表示得知特征A的信息而使得類X的信息的不確定性減少的程度。信息增益越大，意味着使用屬性來進行划分所獲得的純度提升越大。

信息熵 = 經驗熵H(D) – 經驗條件熵(H(D|A))

2.增益率(C4.5決策樹算法)：信息增益可能對數目較多的屬性有偏好，為減少這種偏好使用增益率。C4.5算法是先從划分屬性中找出信息增益高於平均水平的屬性，然后在選擇增益率最高的。

3.基尼指數(CART決策樹算法)：Gini(D)反映了從數據集中隨機抽取兩個樣本，其類別標記不一致的概率，Gini(D)越小，數據集D的純度越高。在選擇划分屬性時，我們選擇基尼指數最小的屬性作為最優划分屬性。

下面是未剪枝C4.5python實現的代碼：

import math
import operator
import xlrd
#功能：導入數據表
#功能：計算熵
def calcShannonEnt (dataSet):
    num = len(dataSet)#實例的個數
    labelCounts = {}#類標簽
    for featVec in dataSet:
        currentLabel = featVec[-1]#最后一列的數值
        if currentLabel not in labelCounts.keys():#如果在labelCounts中沒出現
            labelCounts[currentLabel] = 0#就把currentLabel鍵加入labelCounts中，值為0
        labelCounts[currentLabel] += 1#labelCounts對應的值就加一
    #計算香農熵H(D)
    ShannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key]) / num#計算p(Xi)概率
        ShannonEnt -= prob * math.log(prob, 2) 
    return ShannonEnt

#功能：按照給定特征划分數據集
#輸入：數據集、划分數據集的特征、需要返回的特征的值
#返回：划分后的數據集
def splitDataSet(dataSet, axis, value):
    newdataSet = []
    for featVec in dataSet:
        if featVec[axis] == value:
            reducedFeatVec = featVec[:axis]
            reducedFeatVec.extend(featVec[axis+1:])
            newdataSet.append(reducedFeatVec)
    return newdataSet

#功能：選取最好的數據集划分方式
#返回：最佳特征下標(增益率最大)
def chooseBestFeatureTosplit(dataSet):
    numFeatures = len(dataSet[0]) - 1#特征個數
    baseEntropy = calcShannonEnt(dataSet)#原始香農熵H(D)
    bestInfoGainrate = 0.0; bestFeature = -1#信息增益和最好的特征
    #遍歷特征
    for i in range(numFeatures):
        featureSet = set([example[i] for example in dataSet])#第i個特征取值集合
        newEntropy = 0.0
        splitinfo = 0.0
        for value in featureSet:
            subDataSet = splitDataSet(dataSet, i, value)
            prob = len(subDataSet)/float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)#經驗條件熵H(D|A)
            splitinfo -= prob * math.log(prob,2)#經驗熵HA(D)
        #當概率為1或者0時(因為經驗熵要做被除數)：
        if not splitinfo:
            splitinfo = -0.99 * math.log(0.99,2) - 0.01 * math.log(0.01,2)
        infoGain = baseEntropy - newEntropy#信息增益=H(D)-H(D|A)
        infoGainrate = float(infoGain) / float(splitinfo)#增益率=信息增益/經驗熵
        if infoGainrate > bestInfoGainrate:
            bestInfoGainrate = infoGainrate
            bestFeature = i
    return bestFeature

#功能：多數表決決定葉子結點
#使用分類名稱的列表，創建鍵值為classList中唯一值的數據字典，字典對象存儲了classList每個類標簽出現的頻率
#返回：出現次數最多的分類名稱
def majorityCnt(classList):
    classCount = {}
    for vote in classList:
        if vote not in classCount.keys(): 
            classCount[vote] = 0
        classCount[vote] += 1
    sortedClassCount = sorted(ClassCount.iteritems(),key = operator.itemgetter(1), reverse = True)
    return sortedClassCount[0][0]

#功能：創建樹
#輸入數據集和類標簽
#返回字典樹
def createTree(dataSet, labels):
    classList = [example[-1] for example in dataSet]#數據集的所有類標簽
    if classList.count(classList[0]) == len(classList):#停止條件是所有的類標簽完全相同
        return classList[0]
    if len(dataSet[0]) == 1:#當使用完了所有特征，還不能將數據集划分成僅包含唯一類別的分組
        return majorityCnt(classList)#挑選出出現次數最多的類別作為返回值
    #開始創建樹
    bestFeat = chooseBestFeatureTosplit(dataSet)#當前數據集選取的最好特征
    bestFeatLabel = labels[bestFeat]
    myTree = {bestFeatLabel:{}}
    #得到列表包含的所有屬性值
    #賦值當前特征標簽列表，防止改變原始列表的內容
    subLabels = labels[:]
    #刪除屬性列表中當前分類數據集特征
    del(subLabels[bestFeat])
    #獲取數據集中最優特征所在列
    featValues = [example[bestFeat] for example in dataSet]
    #采用set集合性質，獲取特征的所有的唯一取值
    uniqueVals = set(featValues)
    for value in uniqueVals:
        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels)
    return myTree

'''    功能：決策樹分類函數
    思路:
    執行數據分類時，使用決策樹以及用於構造決策樹的標簽向量。
    比較測試數據與決策樹上的數值
    遞歸執行該過程直到進入葉子結點
    將測試數據定義為葉子結點所屬的類型
'''
def classify(inputTree, featLabels, testVec):
    #將標簽字符串轉換為索引
    firstSides = list(inputTree.keys())
    firstStr = firstSides[0]
    secondDict = inputTree[firstStr]
    featIndex = featLabels.index(firstStr)
    #-----------------------------------
    for key in secondDict.keys():
        if testVec[featIndex] == key:
            if type(secondDict[key]).__name__ =='dict':
                classLabel = classify(secondDict[key], featLabels, testVec)
            else:    classLabel = secondDict[key]
    return classLabel

#功能：后剪枝
def 

#功能：觀察決策樹的分類率
def getAccuracy(dataSet,testDatas,testLabels,myTree):
    count = 0#分類正確的數量
    print('數據量:',len(testDatas))
    print('屬性數量:',len(testLabels))
    num = 0#分類正確的數量
    for testData in testDatas: 
        i = 0
        a = classify(myTree, testLabels,testData)
        if a == dataSet[i][-1]:
            count += 1
        i += 1
    print("分類正確的數量是： ",count)
    accuracy = count / len(testDatas)
    print("決策樹分類器的正確率為：",accuracy)