//2019.08.14
#機器學習算法評價分類結果
1、機器學習算法的評價指標一般有很多種，對於回歸問題一般有MAE,MSE，AMSE等指標，而對於分類算法的評價指標則更多：准確度score，混淆矩陣、精准率、召回率以及ROC曲線、PR曲線等。
2、對於分類算法只用准確率的評價指標是不夠的，並且對於一些情況它是存在問題的，對於極度偏斜的數據集(比如對於癌症的發生預測)，准確度的評價指標是存在問題的，需要使用混淆矩陣進行進一步的分析。
3、混淆矩陣(Confusion Matrix):混淆矩陣的行數和列數一般是由分類算法的分類結果數目決定的，對於n各分類結果，混淆矩陣是nxn的矩陣，行和列的索引就是n個分類結果，其中行代表真實值，而列代表的是預測值。矩陣Axy每個網格里的值代表了真實值在x的情況下預測為y的數據樣本個數。
圖
4、根據混淆矩陣得到的矩陣結果，我們可以再次定義兩個評價指標，稱為精准率precision和召回率recall，其中精准率precision=預測正確個數/預測總數，召回率recall=預測正確個數/真實所有個數。
圖
5、精准率和召回率的算法評判指標的解讀應該結合具體分析問題的方向和實際場景，不同的場景對於不同指標的側重點是不一樣的。比如在股票預測里面我們更加注重精准率，我們更加注重預測結果的准確度，而召回率低一點意味着我們漏掉了一些希望的結果，而這個影響不大；而在疾病預測里面召回率則更加重要，因為我們更加希望把確實患有疾病的人群檢查出來，不想漏掉實際患病的人群，而此時預測的准確率低一點也沒有關系。
6、也有一些情況並不是只關注精准率和召回率中的一個，而是需要同時兼顧精准率和召回率，這個指標有一個叫做F1score,它的指兩者的調和平均值，而非簡單的求取平均。它的特點是如果精准率和召回率一個特別大，一個特別小，則輸出的F1 score則比較小，它可以防止正常平均時的一些判斷偏差的情況，比較好的兼顧兩者的共同大小。
圖
7、精准率和召回率在機器學習算法的分類算法中是存在矛盾的，隨着判斷score判斷閾值的提高，精准率會不斷地增大，而召回率是不斷減小的。
8、PR曲線，即precision-recall curve，它可以表示出機器學習分類算法的召回率隨着精准率變化的曲線，通過對比可以看出不同算法的好壞，一般與x/y軸所圍成的面積越大，其綜合性能也就越好。
9、ROC曲線，描述TPR和FPR之間的關系，是統計學上經常用到的曲線和指標曲線，其主要的指標是ROC曲線與x軸所圍成的面積roc-au_score，面積越大，則模型越好。另外，ROC曲線對於具有極偏數據是不敏感的。
