看視頻之前，先回憶對回歸的理解：
一元線性回歸其實就是對一個自變量，一個因變量，
我們期望有 y= a+bx ，作為它們的關系式，能夠解釋x和y之間的關系，
已知一組（x，y）1-n，現在根據這個已知的條件，
- 關系式系數——是否一定存在？
- 若存在，a，b，最有可能是什么？
在吳恩達的課程里，詳細討論了第二個問題，最有可能，
最正確的a，b取值，就是 |a*xi+b-yi-y| =>（a*xi+b-yi-y）^(2)（實際值）最小的，即偏離程度最小，所以又叫,離差,或者,殘差(殘余量)
由於有多個樣本,所以我們求的是 sigma （a*xi+b-yi）的，這就是計量經濟學里說的殘差平方和的方程,或者說函數,又叫代價函數, 名字太多了...
給出, f(a,b)=(1/2n)*sigma （a*xi+b-yi）,
為什么*1/2*n? (這里現在還有點模糊,不是很確定)
我猜是為了使殘差標准化? n代表n項,1/2代表, 兩種不同的偏離方向, 更大,或者更小,殘差為正或負?
或者,也有可能是一個中心值? 相當於一個期望值?
求f(a,b)最小值, 實際上就是求函數極小值的最小值,
吳佬在這里講的非常詳細,他說確定這個最小值的過程,求極值的過程,就是一個使沿着梯度探索的過程,我希望不斷下山走到最底
隨便找一個點, 梯度一開始先很高, 移步一次下降得很快,但是越靠近極值處,梯度越小, 移步一次下降的越慢, 最后到極值時,梯度=0;
這個不斷移步過程, 梯度不斷變小, 或者說下降的過程 ,概括一下, 就叫"移步梯度下降法",
更簡潔一點--又叫作 -- 梯度下降法.
那寫成代碼就是,
往 a,b 兩個方向都能移步,每次移步了之后從f1位置變到f2,就要更新出發點為f2,下次從f2出發, 不斷重復,就是不斷迭代
而梯度越來越小, 實際上也就是導數越來越小趨近於0,負數不行,
所以除了導函數為0, 又可以進一步用導函數的導數----二階導來判定,
所以f(a,b)=(1/2n)*sigma （a*xi+b-yi）,當f(a,b)=min(f(a,b)),此時的a,b為我們所需要的最有可能滿足關系式ax+b的參數值
按照吳老一開始說的,這就是一個"最小化"過程.
求導,令導數為0,得到表達式;
其中一種表達式的證明:
求偏導數 二階導判定極值存在性---其實這也是5個基本假定其中的樣本變異性
化簡公式:
另一種表達式的推導, 更詳細的:
https://blog.csdn.net/weixin_38278993/article/details/100556051