說的通俗一點啊，最大似然估計，就是
利用已知的樣本結果，
反推最有可能（最大概率）導致這樣結果的參數值。
例如：一個麻袋里有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就采取最大似然估計法： 我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結果的概率為：
P(黑=8)=p^8*（1-p）^2,現在我想要得出p是多少啊，很簡單，使得P(黑=8)最大的p就是我要求的結果，接下來求導的的過程就是求極值的過程啦。
可能你會有疑問， 為什么要ln一下呢，這是因為ln把乘法變成加法了，且不會改變極值的位置（單調性保持一致嘛）這樣求導會方便很多~
同樣，這樣一道題：設總體 X 的概率密度為
已知 X1,X2..Xn是樣本觀測值，求θ的極大似然估計
這也一樣啊，要得到 X1,X2..Xn這樣一組樣本觀測值的概率是
P{x1=X1,x2=X2,...xn=Xn}= f(X1,θ)f(X2,θ)…f(Xn,θ)
然后我們就求使得P最大的θ就好啦，一樣是求極值的過程，不再贅述。
例如：一個麻袋里有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就采取最大似然估計法： 我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結果的概率為：
P(黑=8)=p^8*（1-p）^2,現在我想要得出p是多少啊，很簡單，使得P(黑=8)最大的p就是我要求的結果，接下來求導的的過程就是求極值的過程啦。
可能你會有疑問， 為什么要ln一下呢，這是因為ln把乘法變成加法了，且不會改變極值的位置（單調性保持一致嘛）這樣求導會方便很多~
同樣，這樣一道題：設總體 X 的概率密度為
已知 X1,X2..Xn是樣本觀測值，求θ的極大似然估計
這也一樣啊，要得到 X1,X2..Xn這樣一組樣本觀測值的概率是
P{x1=X1,x2=X2,...xn=Xn}= f(X1,θ)f(X2,θ)…f(Xn,θ)
然后我們就求使得P最大的θ就好啦，一樣是求極值的過程，不再贅述。
作者：渣君
鏈接：https://www.zhihu.com/question/20447622/answer/23902715
來源：知乎
著作權歸作者所有，轉載請聯系作者獲得授權。
最小二乘：找到一個（組）估計值，使得實際值與估計值的距離最小。本來用兩者差的絕對值匯總並使之最小是最理想的，但絕對值在數學上求最小值比較麻煩，因而替代做法是，找一個（組）估計值，使得實際值與估計值之差的平方加總之后的值最小，稱為最小二乘。“二乘”的英文為least square，其實英文的字面意思是“平方最小”。這時，將這個差的平方的和式對參數求導數，並取一階導數為零，就是OLSE。
作者：稻花香
鏈接：https://www.zhihu.com/question/20447622/answer/23848605
來源：知乎
著作權歸作者所有，轉載請聯系作者獲得授權。
作者：稻花香
鏈接：https://www.zhihu.com/question/20447622/answer/23848605
來源：知乎
著作權歸作者所有，轉載請聯系作者獲得授權。
先說結論：誤差服從高斯分布的情況下， 最小二乘法等價於極大似然估計。
最小二乘法是基於最大似然估計推導出來的
最小二乘法的
目的： 通過已有的數據來預測未知的數據。一般做一條 多元一次直線方程。
原理：假設在一個 2維坐標上，有很多個點，我們划一條 直線，直線滿足：坐標上所有的點到直線上的距離和最小。（注意，這個距離不是 過點在該直線上做垂線，而是 過該點 做一條與Y軸平行的線，形成的距離）
最后補充一點，在很多的數據分析中，人們往往更加願意 用“距離”來描述數與數之間的關系，還有什么馬氏距離法、廣義平方距離法等等
目的： 通過已有的數據來預測未知的數據。一般做一條 多元一次直線方程。
原理：假設在一個 2維坐標上，有很多個點，我們划一條 直線，直線滿足：坐標上所有的點到直線上的距離和最小。（注意，這個距離不是 過點在該直線上做垂線，而是 過該點 做一條與Y軸平行的線，形成的距離）
最后補充一點，在很多的數據分析中，人們往往更加願意 用“距離”來描述數與數之間的關系，還有什么馬氏距離法、廣義平方距離法等等
作者：咪總
鏈接：https://www.zhihu.com/question/20447622/answer/15732404
來源：知乎
著作權歸作者所有，轉載請聯系作者獲得授權。