可能我從來就沒真正的整明白過，只是會考試而已
搞清楚事情的來龍去脈不容易忘記
兩個常見的參數估計法：
極大似然估計法和最小二乘法
1.極大似然估計
ref知乎,模型已定，參數未知的條件下，根據實驗數據估計參數模型，等價於“利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的參數值”
舉個例子
一個麻袋里有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就采取最大似然估計法：
我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結果的概率為：P(黑=8)=p^8*（1-p）^2,現在我想要得出p是多少啊，很簡單，使得P(黑=8)最大的p就是我要求的結果，接下來求導的的過程就是求極值的過程啦。可能你會有疑問，為什么要ln一下呢，這是因為ln把乘法變成加法了，且不會改變極值的位置（單調性保持一致嘛）這樣求導會方便很多~同樣，這樣一道題：設總體X 的概率密度為 已知 X1,X2..Xn是樣本觀測值，求θ的極大似然估計這也一樣啊，要得到 X1,X2..Xn這樣一組樣本觀測值的概率是P{x1=X1,x2=X2,...xn=Xn}=f(X1,θ)f(X2,θ)…f(Xn,θ) 然后我們就求使得P最大的θ就好啦，一樣是求極值的過程
看過知乎幾個答主講的，感覺都不太像是在說人話。。
這個是我體聽過最好的解釋了
知乎
公式推導
一元線性回歸中：隨機抽取n組樣本觀測值：\(X_i\)，\(Y_i\)（i=1,2...n）假如模型參數已經求得\(B_0\)和\(B_1\),那么\(Y_i\)f服從的正態分布如下
\[Y_{i} \sim N\left(\hat{\beta}_{0}+\hat{\beta}_{1} X_{i}, \sigma^{2}\right) \]
\(Y_i\)的概率分布函數如下
\[P\left(Y_{i}\right)=\frac{1}{\sigma \sqrt{2 \pi}} e^{-\frac{1}{2 \sigma^{2}}\left(Y_{i}-\beta_{0}-\hat{\beta}_{1} X_{i}\right)^{2}} \]
因為\(Y_i\)的樣本是獨立同分布的，所以Y的樣本聯合分布概率的似然函數為
\[L\left(\hat{\beta}_{0}, \hat{\beta}_{1}, \sigma^{2}\right)=P\left(Y_{1}, Y_{2}, \ldots, Y_{n}\right)=\frac{1}{(2 \pi)^{n / 2} \sigma^{n}} e^{-\frac{1}{2 \sigma^{2} T} \sum\left(\gamma_{i}-\hat{\beta}_{0}-\hat{\beta}_{1} X_{j}\right)^{2}} \]
將這個函數求極大值，另外，似然函數的極大化與極大似然函數取對數后再極大化是等價的，取對數后的極大似然函數如此啊
\[L^{*}=\ln L=-n \ln (\sqrt{2 \pi} \sigma)-\frac{1}{2 \sigma^{2}} \sum\left(Y_{i}-\hat{\beta}_{0}-\hat{\beta}_{1} X_{i}\right)^{2} \]
求\(L^*\)的極大值等價於\(\Sigma\left(Y_{i}-\hat{\beta}_{0}-\hat{\beta}_{1} X_{i}\right)^{2}\)求極小，按照正常求導步驟求解即可
2.最小二乘法
最小二乘法就是在這些散點圖中找到一條能夠反映相關性的一條直線，這條直線使得所有點到這條直線的距離的平方和最小，最后我們通過對這條直線的未知系數求偏導
這個一般的統計學上的書會有，考試時候也會出一些簡單的題手算，就是求一條直線的斜率和截距
這個講的更加清楚一些博客園