簡單的討論一下參數估計理論
一、什么是參數估計
參數通常用來表示一個量，可以是標量也可以是有值向量。按照時間變化，也可以分為時常參數和時變參數。對於時常參數的估計稱為參數估計。對於時變的參數估計稱為狀態估計，本文不研究。參數估計的包括兩個主要的模型以及四個基本估計方法，如下圖所示：
貝葉斯學派和頻率學派最大的不同、根上的不同，就是在於模型 y=wx+b 其中的 w 和 b 兩個參數，頻率學派認為參數是固定的、也就是上面的非隨機模型，只要通過不停的采樣、不停的觀測訓練，就能夠估算參數 w 和 b，因為它們是固定不變的；而貝葉斯學派相反，他們認為這些參數是變量，它們是服從一定的分布的，也就是上面的隨機模型，這是它最根本的差別。通常上面兩種也被稱為點估計和區間估計。
二、四種基本的估計方法
2.1 最大似然估計
使得似然函數達到最大的x即為參數x的ML估計：
2.2 最小二乘估計
（我還是直接抄書吧。。。以下以上都來自《雷達數據處理及應用》）
2.3 最大后驗估計
對於隨機參數，由於已知其先驗概率p（x），由貝葉斯准則：
可以求得其后驗概率密度函數，使后驗概率密度函數最大的x被稱為參數x的最大后驗估計，即：
2.4 最小均方誤差估計
三、最大似然估計和最小二乘估計的對比
當模型是高斯分布時，最大似然估計和最小二乘估計是等價的。