常見的交叉驗證方法有三種，一般運用K折交叉驗證的較多，即把初始采樣分成K個子集，一個子集用來保留作為驗證模型的數據，其他K-1個用來訓練。交叉驗證重復K次，每個子樣本驗證一次，平均K次的結果，或使用其他結合方式，得到一個單一估測，這個方法的優勢在於，同時重復運用隨機產生的子樣本進行訓練和驗證，每次的結果驗證一次，10折交叉驗證是最常用的。
交叉驗證的作用話說是為了驗證模型是否過擬合，隨着訓練數據和驗證數據的增加以及訓練和驗證的進度，到訓練和驗證完成，如果訓練誤差和驗證誤差相差較大，則很可能發生可過擬合，可以通過增加訓練數據、減少特征、以及正則化來解決過擬合的問題。