Adaboost提升算法是機器學習中很好用的兩個算法之一，另一個是SVM支持向量機；機器學習面試中也會經常提問到Adaboost的一些原理；另外本文還介紹了一下非平衡分類問題的解決方案，這個問題在面試中也經常被提到，比如信用卡數據集中，失信的是少數，5：10000的情況下怎么准確分類？
一 引言
1 元算法（集成算法）：多個弱分類器的組合；弱分類器的准確率很低 50%接近隨機了
這種組合可以是 不同算法 或 同一算法不同配置 或是 數據集的不同部分分配給不同分類器;
2 bagging：把原始數據集隨機抽樣成S個與原始數據集一樣大新數據集(允許有重復值)，然后訓練S個分類器，最后投票結果集成；
代表：隨機森林
3 boosting：關注以后分類器錯分的數據，而得到新的分類器；
代表：adaboost
bagging和boosting類似，都是抽樣的方式構造多個數據集(特別適用於數據集有限的時候)，並且多個組合分類器的類型都相同，但bagging是串行的，下一個分類器在上一個分類器的基礎上繼續訓練得到的，權重均等；而boosting關注的是錯分的數據，錯分的數據權重大；
二 adaboost(adaptive boost)自適應提升算法
原理：為每一個樣本賦均等的權重(D = 1/n)，先用這個數據集訓練第一個弱分類器，計算錯誤率，錯誤率是為了計算這個分類器最后投票的權重alpha，見公式：
；錯分的樣本權重提升
，對分的樣本權重降低
; 然后用這個數據集訓練第二個若分類器，迭代到弱分類器錯誤率為0或迭代指定個數的弱分類器停止；
直觀如圖，第一個分類器每個樣本權重均等，最后根據錯誤率計算alpha=0.69;然后調整樣本權重，錯分的權重增加，得第二個分類器的alpha0.97；同理第三個分類器的alpha=0.90；最后投票，總的結果是= 0.69*D1 + 0.97*D2 + 0.90*D3
（1）弱分類器：本文采用是時單層分類器，又叫樹樁分類器，是決策樹最簡單的一種；
def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):#just classify the data retArray = ones((shape(dataMatrix)[0],1)) if threshIneq == 'lt': retArray[dataMatrix[:,dimen] <= threshVal] = -1.0 else: retArray[dataMatrix[:,dimen] > threshVal] = -1.0 return retArray def buildStump(dataArr,classLabels,D): dataMatrix = mat(dataArr); labelMat = mat(classLabels).T m,n = shape(dataMatrix) numSteps = 10.0; bestStump = {}; bestClasEst = mat(zeros((m,1))) minError = inf #init error sum, to +infinity for i in range(n):#loop over all dimensions rangeMin = dataMatrix[:,i].min(); rangeMax = dataMatrix[:,i].max(); stepSize = (rangeMax-rangeMin)/numSteps for j in range(-1,int(numSteps)+1):#loop over all range in current dimension for inequal in ['lt', 'gt']: #go over less than and greater than threshVal = (rangeMin + float(j) * stepSize) predictedVals = stumpClassify(dataMatrix,i,threshVal,inequal)#call stump classify with i, j, lessThan errArr = mat(ones((m,1))) errArr[predictedVals == labelMat] = 0 weightedError = D.T*errArr #calc total error multiplied by D # print "split: dim %d, thresh %.2f, thresh ineqal: %s, the weighted error is %.3f" % (i, threshVal, inequal, weightedError) if weightedError < minError: minError = weightedError bestClasEst = predictedVals.copy() bestStump['dim'] = i bestStump['thresh'] = threshVal bestStump['ineq'] = inequal return bestStump,minError,bestClasEst
原理：遍歷每個屬性，以一定步長，枚舉大於和小於：找一條錯誤率最小的與垂直坐標軸的直線分開樣本點；
例如 ins= (a,b,c) ， 找到的若分類器是 a= 1 or b = 2 or c =3 這樣的垂直坐標軸的直線；
（2）adaboost訓練分類器的代碼;
原理如上介紹，訓練分類器就是為了得到若分類器的參數dim,thresh,ineq和alpha,前三個參數dim,thresh,ineq是弱分類器樹樁分類器的參數，最后一個alpha是集合多弱分類器結果的權重；
def adaBoostTrainDS(dataArr,classLabels,numIt=40): weakClassArr = [] m = shape(dataArr)[0] D = mat(ones((m,1))/m) #init D to all equal aggClassEst = mat(zeros((m,1))) for i in range(numIt): bestStump,error,classEst = buildStump(dataArr,classLabels,D)#build Stump print 'error',error #print "D:",D.T alpha = float(0.5*log((1.0-error)/max(error,1e-16)))#calc alpha, throw in max(error,eps) to account for error=0 bestStump['alpha'] = alpha weakClassArr.append(bestStump) #store Stump Params in Array print "classEst: ",classEst.T expon = multiply(-1*alpha*mat(classLabels).T,classEst) #exponent for D calc, getting messy D = multiply(D,exp(expon)) #Calc New D for next iteration D = D/D.sum() print 'D',D #calc training error of all classifiers, if this is 0 quit for loop early (use break) aggClassEst += alpha*classEst aggErrors = multiply(sign(aggClassEst) != mat(classLabels).T,ones((m,1))) errorRate = aggErrors.sum()/m print "total error: ",errorRate if errorRate == 0.0: break return weakClassArr,aggClassEst
(3)測試adaboost代碼：
根據弱i訓練分類器得到的參數，使用設置參數的弱分類器對測試樣本進行預測，最后結果通過alpha集成；
def adaClassify(datToClass,classifierArr): dataMatrix = mat(datToClass)#do stuff similar to last aggClassEst in adaBoostTrainDS m = shape(dataMatrix)[0] aggClassEst = mat(zeros((m,1))) for i in range(len(classifierArr)): classEst = stumpClassify(dataMatrix,classifierArr[i]['dim'],\ classifierArr[i]['thresh'],\ classifierArr[i]['ineq'])#call stump classify aggClassEst += classifierArr[i]['alpha']*classEst print aggClassEst return sign(aggClassEst)
三 病馬數據集實例
datArr,labelArr = loadDataSet('HorseTraining2.txt') classifierArr = adaBoostTrainDS(datArr,labelArr,9) testArr,testLabelArr = loadDataSet('HorseTraining2.txt') prediciton = adaClassify(testArr,classifierArr) error = mat(ones((67,1))) error[prediciton != mat(testLabelArr ).T] .sum()
這個實例就是調用了上面adaboost的接口，值得注意的是，這個病馬的數據集是我們在上一篇文章logistics算法時用到的，在logistics里錯誤率是0.3，因為這個數據集有很多缺失值，難預測；而adaboost的50個弱分類器的錯誤率只有0.21；
主意： 弱分類器的個數，太少易欠擬合，太多易過擬合，最好的是適當的個數；就像一張經典的圖，橫坐標是弱分類器的個數，訓練樣本的錯誤率越來越低，測試樣本的錯誤率是對勾型，取拐點處個數最好了，既不過擬合也不欠擬合。
四 不平衡分類問題
不平衡問題是正例和負例的比例相差很大，比如信用卡賬戶是否欠賬，5個正例，5000個負例；
1解決方案
1）預處理級：過采樣和欠采樣及混合采樣；
抽樣過程可以通過隨機或制定的方式實現：
（1）過采樣：復制正例樣本，增加樣本個數；或者增加和正例樣本相似的樣本；
（2）欠采樣：刪除距離邊界較遠負例樣本，上例中為了平衡，需要刪除4950個負例；
（3）混合過采樣和欠采樣
2）算法級：代價敏感；
舉個例子說明是什么代價敏感分類器：
二分類器代價矩陣：
| 真實結果|預測結果 | +1 | -1 |
| +1 | -5 | 1 |
| -1 | 50 | 0 |
根據代價矩陣表，求出最后的總的代價，選擇代價最小的類做為左后的預測結果。
2 AUC計算代碼：
就不能把准確率自己作為不平衡問題的評價指標了，因為在不平衡分類中，100個樣本，90正例，10負例；則粗暴的把100個全分為正類就可以達到很高的100%准確率。這顯然不是我們想要的結果。召回率這時候也起到了作用，正類中分對了多少，90%。
AUC是最為理想的一個指標：(通過正例和負例pairs的排名計算)
def plotROC(predStrengths, classLabels): import matplotlib.pyplot as plt cur = (1.0,1.0) #cursor ySum = 0.0 #variable to calculate AUC numPosClas = sum(array(classLabels)==1.0) yStep = 1/float(numPosClas); xStep = 1/float(len(classLabels)-numPosClas) sortedIndicies = predStrengths.argsort()#get sorted index, it's reverse fig = plt.figure() fig.clf() ax = plt.subplot(111) #loop through all the values, drawing a line segment at each point for index in sortedIndicies.tolist()[0]: if classLabels[index] == 1.0: delX = 0; delY = yStep; else: delX = xStep; delY = 0; ySum += cur[1] #draw line from cur to (cur[0]-delX,cur[1]-delY) ax.plot([cur[0],cur[0]-delX],[cur[1],cur[1]-delY], c='b') cur = (cur[0]-delX,cur[1]-delY) ax.plot([0,1],[0,1],'b--') plt.xlabel('False positive rate'); plt.ylabel('True positive rate') plt.title('ROC curve for AdaBoost horse colic detection system') ax.axis([0,1,0,1]) plt.show() print "the Area Under the Curve is: ",ySum*xStep
五 總結
優點：准確度較高，無參數調整；
缺點：對離散值敏感；
數據類型：數值和離散型；