各種研究領域（包括無線定位方向）都會碰到參數估計的問題，這時常常會看到克拉美羅界 (Cramér–Rao bound) 這個東西。很多隨機信號的書都會介紹什么是克拉美羅界，但初學者學起來往往很吃力，本文從直觀上簡單討論一下克拉美羅界的各個方面。
什么是參數估計問題
假設一種最簡單的情況：
一個物理量為
，我們使用某種方式去觀測它，觀測值為
，由於存在噪聲，此時
，
為高斯噪聲，
。
這種情況下，我們自然會直接使用觀測值去估計，這時就會存在估計的誤差，直觀地理解，噪聲的方差
越大，估計就可能越不准確。
為什么要討論克拉美羅界
討論克拉美羅界就是為了使用這個標准來衡量無偏估計量的性能。
采用上面的方式，使用
去估計，這個估計值會在真實值附近波動（看作隨機變量）。我們需要使用一些標准來衡量這種估計的好壞，一個標准是估計值的平均，這里的這個估計量是無偏估計量。另一標准是這個估計值波動的劇烈程度，也就是方差。上面這個問題中，克拉美羅界就等於這個方差。
可是為什么不直接討論方差而要去計算克拉美羅界呢，因為方差是針對某一種特定的估計量（或者理解為估計方式）而言的，在上面的例子中，方差是估計量
的方差（）。對於稍微復雜一點點的問題，對的可以有各種不同的估計量，它們分別的方差是不同的。顯然，對於無偏估計量而言，方差越小的估計方式性能越好，但是這個方差有一個下界，就是我們的克拉美羅界。
直觀地理解克拉美羅界
克拉美羅界本身不關心具體的估計方式，只是去反映：利用已有信息所能估計參數的最好效果。
還是上面那個參數估計問題，當我們觀察到的時候，我們可以知道真實值的概率密度分布是以為均值，為方差的正態分布，即:
上圖給出了兩個似然函數的例子，直觀地看，似然函數的“尖銳”性決定了我們估計位置參數的精度。這個“尖銳”性可以用對數似然函數峰值處的負的二階導數來度量，即對數似然函數的曲率（對數似然函數就是在似然函數的基礎山加一個自然對數，這樣有利於計算）。計算過程我就不寫了，有興趣的可以自己算算，算完之后結果為：
，這里正好是噪聲的方差的倒數，也就是噪聲越小，對數似然函數越尖銳。
所以，可以這樣理解，似然函數的“尖銳”程度的倒數（即對數似然函數的二階導的倒數），就是克拉美羅界。
不同的估計量（估計方式）是什么意思
讓我們來分析一個稍微復雜一點點的參數估計問題：
一個物理量為，我們使用某種方式去觀測它，觀測值為
和
，這是兩個不同時刻的觀測結果，一樣的高斯噪聲。
這種情況下，我們要估計，正常人可能會采用估計量
，即前后兩個觀測的平均，也有人可能覺得這樣計算量有點大，於是總是直接使用
去估計，也有人覺得第二個觀測值可能會受到系統影響而不准確，他更相信前面的觀察值，於是總采取這樣的估計量
。這三個估計量都是無偏的：
估計量的方差為：
估計量的方差為：
估計量的方差為：
比較上面的三種估計量，第一種的方差最小，它的估計效果較好。實際上，如果第二個觀測值真的不太准確，也就是后一個高斯噪聲較大，這樣的話也許第二個估計量就比較合適了。
因此，不同的考慮方式可以產生各種不同的估計算法，這些不同的估計量都是在真實值附近波動的隨機變量(有的有偏，有的無偏)，它們分別的方差也是不一樣的，但是數學家們證明了：任何無偏估計量的方差必定大於等於克拉美羅界。
克拉美羅界的基本計算
我們假設這兩次觀察互相獨立，僅受相同的高斯白噪聲影響，那么根據已有的信息，真實值的似然函數為兩個正態的概率密度分布相乘：（注意：pdf實際上應該再進行歸一化處理，但是我們之后使用對數似然函數，乘不乘歸一化系數都無所謂，對數之后變成了常數，求導的時候就沒了）
與之前一樣，可以計算出對數似然函數的二階導數，得到結果為:
。實際上，當觀測數目為
的時候，這個值將會是
。也就是說，使用多個觀測值的信息時，對數似然函數越“尖銳”。這個二階導數（曲率）更一般的度量是(下面用
來表示要估計的參數)：
它度量了對數似然函數的平均曲率（很多情況下曲率與的值有關，取數學期望使得它僅為的函數），被稱為數據的Fisher信息
，直觀地理解，信息越多，下限越低，它具有信息測度的基本性質（非負的、獨立觀測的可加性）。一般來說，Fisher信息的倒數就是克拉美羅界了，任何無偏估計量
的方差滿足：
大多情況下，這個不等式的右邊（克拉美羅界）是的函數。
克拉美羅界的標准定義
（定理：Cramer-Rao下限----標量參數）
假定PDF 
滿足“正則”條件（對於所有的）：
其中數學期望是對 求取的。那么，任何無偏估計量
的方差必定滿足：
其中導數是在的真值處計算的，數學期望是對求取的。而且，對於某個函數
和
，當且僅當
時，對所有達到下限的無偏估計量就可以求得。這個估計量是
，它是MVU估計量（最小方差無偏估計），最小方差是
。
總結
估計一個參數，根據已有信息得到了似然函數（或者pdf），這個pdf的“尖銳”程度的倒數（即對數似然函數的二階導的倒數）就是克拉美羅界。克拉美羅界的計算不依賴具體的估計方式，它可以用來作為一個衡量估計方式好壞的標准，即估計量的方差越靠近克拉美羅界，效果越好。
（注：本文主要參考《統計信號處理基礎-估計與檢測理論》-國外電子與通信教材系列）
作者： rubbninja
出處： http://www.cnblogs.com/rubbninja/
關於作者：目前主要研究領域為機器學習與無線定位技術，歡迎討論與指正！
版權聲明：本文版權歸作者和博客園共有，轉載請注明出處。