拓端tecdat|使用R語言做極大似然估計實例

原文鏈接：http://tecdat.cn/?p=18970

 

在普遍的理解中，最大似然估計是使用已知的樣本結果信息來反向推斷最有可能導致這些樣本結果的模型參數值！

換句話說，最大似然估計提供了一種在給定觀測數據的情況下評估模型參數的方法，即“模型已確定且參數未知”。

在所有雙射函數的意義上，極大似然估計是不變的  ，如果   是的極大似然估計     。

讓  ，    等於  中的似然函數。由於   是的最大似然估計  ，

因此，   是的最大似然估計  。

例如，伯努利分布為   ，   

 

給定樣本  ，概率是

 

則對數似然

 

與ICI

 

因此，一階條件

 

何時滿足  。為了說明，考慮以下數據

 

1.  
    
2.  
   > X
3.  
   [ 1] 0 0 1 1 0 1 1 1 1 0 0 0 1 0 1

（負）對數似然

 

1.  
   > loglik= function(p){
2.  
   + -sum( log(dbinom(X,size=1,prob=p)))
3.  
   + }

我們可以在下面看到

 

1.  
    
2.  
   > plot(u,v, type="l",xlab="",ylab="")

 

根據以上計算，我們知道的極大似然估計  是

 

1.  
   > mean(X)
2.  
   [1] 0.53

數值為

1.  
   $par
2.  
   [ 1] 0.53
3.  
    
4.  
   $value
5.  
   [ 1] 10.36
6.  
    
7.  
   $counts
8.  
   function gradient
9.  
   20 NA
10.  
     
11.  
    $convergence
12.  
    [ 1] 0
13.  
     
14.  
    $message
15.  
    NULL

我們沒有說優化是在區間內 。但是，我們的概率估計值屬於 。為了確保最優值在 ，我們可以考慮一些約束優化程序

1.  
   ui=matrix(c(1,-1),2,1), ci=c(0,-1)
2.  
   $par
3.  
   [ 1] 0.53
4.  
    
5.  
   $value
6.  
   [ 1] 10.36
7.  
    
8.  
   $counts
9.  
   function gradient
10.  
    20 NA
11.  
     
12.  
    $convergence
13.  
    [ 1] 0
14.  
     
15.  
    $message
16.  
    NULL
17.  
     
18.  
    $outer.iterations
19.  
    [ 1] 2
20.  
     
21.  
    $barrier.value
22.  
    [ 1] 6.91e-05

在上一張圖中，我們達到了對數似然的最大值

 

> abline(v=opt$par,col="red")

 

另一種方法是考慮   （如指數分布）。則對數似然

 

這里

 

因此，一階條件

 

滿足

即

 

從數值角度來看，我們有相同的最優值

1.  
   (opt=optim(0,loglik))
2.  
   $par
3.  
   [ 1] 0.13
4.  
    
5.  
   $value
6.  
   [ 1] 10.36
7.  
    
8.  
   $counts
9.  
   function gradient
10.  
    20 NA
11.  
     
12.  
    $convergence
13.  
    [ 1] 0
14.  
     
15.  
    $message
16.  
    NULL
17.  
     
18.  
    > exp(opt$par)/(1+exp(opt$par))
19.  
    [ 1] 0.53

---

最受歡迎的見解

1.Matlab馬爾可夫鏈蒙特卡羅法（MCMC）估計隨機波動率（SV，Stochastic Volatility） 模型

2.基於R語言的疾病制圖中自適應核密度估計的閾值選擇方法

3.WinBUGS對多元隨機波動率模型：貝葉斯估計與模型比較

4.R語言回歸中的hosmer-lemeshow擬合優度檢驗

5.matlab實現MCMC的馬爾可夫切換ARMA – GARCH模型估計

6.R語言區間數據回歸分析

7.R語言WALD檢驗 VS 似然比檢驗

8.python用線性回歸預測股票價格

9.R語言如何在生存分析與Cox回歸中計算IDI，NRI指標