1.參數估計和非參數估計
前面提到隨機變量的分布不是很明確時，我們需要先對隨機變量的分布進行估計。有一種情況是我們知道變量分布的模型，但是具體分布的參數未知，我們通過確定這些未知參數就可以實現對變量的估計，這種方式就是參數估計。其中，比較基礎且常見的參數估計方法有最大似然估計、最小二乘估計以及最大后驗概率估計。
2.最大似然估計
給出隨機變量\(X(x1,x2,x3...)\)以及它的獨立采樣統計\(Y(y1,y2,y3...)\)，且已知X的分布是\(f(\theta)\)，這里我們可以把變量X的分布看作關於\(\theta\)的函數，即一組參數值\(\theta\)確定一個X的分布函數，我們要求的參數\(\theta\)應使得分布函數最貼近Y。那么如何表示這一點呢？對於最大似然估計，那就是以\(\theta\)為參數時，對X的估計結果恰好是\(Y(y1,y2,y3...)\)的總概率最大！我們由此構建了關於\(\theta\)的似然函數，用\(L(\theta)\)表示似然函數，用\(p(x_{i}|\theta)\)表示估計結果恰好為\(y_{i}\)的概率，有：$$L(\theta) = \prod_{i=1}^{n} p(x_{i}|\theta)$$
注意前面提到了統計結果是獨立的，所以總概率等於分概率相乘。對於連乘，通常采用取對數的方式做變換達到相近的結果：$$\widehat(L)(\theta) = \sum_{i=1}^{n} ln(p(x_{i}|\theta))$$
上式也叫對數似然函數，當我們要求參數時，只需要對似然函數關於參數的求導並置0，解方程組即可得到目標參數。
3.最小二乘法
最小二乘法和最大似然估計的不同點在於，它認為待估計的參數應使得對X的預測和X的實際分布整體的“距離”最小。即求\(\theta\)滿足：$$\theta = argmin \sum_{i = 1}^{n} (f(x_{i}|\theta) - y_{i})^2$$
對於參數的求取我們同樣可以轉化為一階導數為0的解，或者梯度下降發迭代求解。對於線性估計和非線性估計還有一些區別，本篇隨筆只是簡介，我會單獨寫一個關於最小二乘法的（完了，又一個坑）。
4.最大后驗概率估計
提到最大后驗概率，首先想起的就是貝葉斯估計，是的，最大后驗概率是貝葉斯統計學說里面的。貝葉斯統計理論認為，對事物的觀測結果可能根據觀測角度、觀測方法、樣本的大小而不一樣，因此直接通過統計對隨機變量進行建模可能會引入誤差，所以需要引入“先驗知識”即先驗概率。觀察似然函數：$$L(\theta) = \prod_{i=1}^{n} p(x_{i}|\theta)$$
如果我們已知\(\theta\)的分布\(p(\theta)\)：$$L(\theta) = \prod_{i=1}^{n} \frac{p(\theta|x_{i})p(\theta)}{p(x_{i})}$$
又分母與\(\theta\)無關，所以有：$$\theta = argmax \prod_{i=1}^{n} p(\theta|x_{i})p(\theta)$$
同樣可以取對數似然：$$\theta = argmax \sum_{i=1}^{n} (ln(p(\theta|x_{i})) + ln(p(\theta))$$
最大后驗概率和最大似然估計不一樣的是，其追求\(p(x_{i}|\theta)p(\theta)\)的最大化，即保證預測盡可能接近分布的同時，\(\theta\)本身的概率也最大，感覺是給似然函數增加了“約束項”，不過是以乘法的形式。