SVM函數中的兩個超參數 C gamma


SVM的優缺點(復習)

https://blog.csdn.net/qq_38734403/article/details/80442535

 

https://blog.csdn.net/u012879957/article/details/82459315

https://www.cnblogs.com/hxsyl/p/5231389.html

核函數的基本作用就是接受兩個低維空間里的向量,能夠計算出經過某個變換后在高維空間里的向量內積值。

RBF 核與多項式核相比具有參數少的優點

用交叉驗證找到最好的參數 C 和γ 。使用 RBF 核時,要考慮兩個參數 C 和γ 。因為參數的選擇並沒有一定的先驗知識,必須做某種類型的模型選擇(參數搜索)。目的是確定好的(C,γ)使得分類器能正確的預測未知數據(即測試集數 據),有較高的分類精確率。值得注意的是得到高的訓練正確率即是分類器預測類標簽已知的訓練數據的正確率)不能保證在測試集上具有高的預測精度。因此,通 常采用交叉驗證方法提高預測精度。k 折交叉驗證(k-fold cross validation)

 

 

C為懲罰系數,C越大,對誤差越重視,容易overfitting,C越小,對誤差懲罰小,容忍大,越偏向soft margin

gamma大,會比較小,會使高斯分布又瘦又長,會存在overffting ,原文如下

 

 

此外大家注意RBF公式里面的sigma和gamma的關系如下:

    

        這里面大家需要注意的就是gamma的物理意義,大家提到很多的RBF的幅寬,它會影響每個支持向量對應的高斯的作用范圍,從而影響泛化性能。我的理解:如果gamma設的太大,會很小,很小的高斯分布長得又高又瘦, 會造成只會作用於支持向量樣本附近,對於未知樣本分類效果很差,存在訓練准確率可以很高,(如果讓無窮小,則理論上,高斯核的SVM可以擬合任何非線性數據,但容易過擬合)而測試准確率不高的可能,就是通常說的過訓練;而如果設的過小,則會造成平滑效應太大,無法在訓練集上得到特別高的准確率,也會影響測試集的准確率。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM