赤池信息量准則 ( Akaike information criterion)


赤池信息量准則[1]  是由日本統計學家赤池弘次創立的,以熵的概念基礎確定。

python金融風控評分卡模型和數據分析微專業課(博主親自錄制視頻):http://dwz.date/b9vv

赤池信息量准則,即Akaike information criterion、簡稱AIC,是衡量統計模型擬合優良性的一種標准,是由日本統計學家赤池弘次創立和發展的。赤池信息量准則建立在熵的概念基礎上,可以權衡所估計模型的復雜度和此模型擬合數據的優良性。

 

公式:

在一般的情況下,AIC可以表示為:
AIC=(2k-2L)/n
 
參數越少,AIC值越小,模型越好
樣本數越多,AIC值越小,模型越好
 這和調整的R方思路一致,即對變量多的模型加重懲罰力度
 
它的假設條件是模型的誤差服從獨立正態分布。
其中:k是所擬合模型中參數的數量,L是對數似然值,n是觀測值數目。
AIC的大小取決於L和k。k取值越小,AIC越小;L取值越大,AIC值越小。k小意味着模型簡潔,L大意味着模型精確。因此AIC和修正的決定系數類似,在評價模型是兼顧了簡潔性和精確性。
具體到,L=-(n/2)*ln(2*pi)-(n/2)*ln(sse/n)-n/2.其中n為樣本量,sse為殘差平方和
表明增加自由參數的數目提高了擬合的優良性,AIC鼓勵數據擬合的優良性但是盡量避免出現過度 擬合(Overfitting)的情況。所以優先考慮的模型應是AIC值最小的那一個。赤池信息准則的方法是尋找可以最好地解釋數據但包含最少自由參數的模型。
 

AICc和AICu


在樣本小的情況下,AIC轉變為AICc:
AICc=AIC+[2k(k+1)/(n-k-1)
當n增加時,AICc收斂成AIC。所以AICc可以應用在任何樣本大小的情況下(Burnham and Anderson, 2004)。
McQuarrie 和 Tsai(1998: 22)把AICc定義為:
AICc=ln(RSS/n)+(n+k)/(n-k-2),
他們提出的另一個緊密相關指標為AICu:
AICu=ln[RSS/(n-k)]+(n+k)/(n-k-2).
 

QAIC

QAIC(Quasi-AIC)可以定義為:
QAIC=2k-1/c*2lnL
其中:c是 方差膨脹因素。因此QAIC可以調整過度離散(或者缺乏 擬合)。
在小樣本情況下, QAIC表示為:
QAICc=QAIC+2k(2k+1)/(n-k-1)
 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM