梯度：梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，
即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。
百度百科詳細含義：https://baike.baidu.com/item/%E6%A2%AF%E5%BA%A6/13014729?fr=aladdin
- 在單變量的函數中，梯度其實就是函數的微分，代表着函數在某個給定點的切線的斜率
- 在多變量函數中，梯度是一個向量，向量有方向，梯度的方向就指出了函數在給定點的上升最快的方向
參考這個博客https://blog.csdn.net/qq_41800366/article/details/86583789
1、梯度下降（gradient descent）
2、不論是在線性回歸還是Logistic回歸中，它的主要目的是通過迭代找到目標函數的最小值，或者收斂到最小值。
3、梯度下降法的基本思想可以類比為一個下山的過程。
假設這樣一個場景：一個人被困在山上，需要從山上下來(找到山的最低點，也就是山谷)。但此時山上的濃霧很大，導致可視度很低；因此，下山的路徑就無法確定，
必須利用自己周圍的信息一步一步地找到下山的路。這個時候，便可利用梯度下降算法來幫助自己下山。怎么做呢，首先以他當前的所處的位置為基准，
尋找這個位置最陡峭的地方，然后朝着下降方向走一步，然后又繼續以當前位置為基准，再找最陡峭的地方，再走直到最后到達最低處；同理上山也是如此，
只是這時候就變成梯度上升算法了
4、為什么梯度反方向是函數值下降最快的方向？
有時間看一下高數，再復習一下。
5、梯度的方向是函數在給定點上升最快的方向，那么梯度的反方向就是函數在給定點下降最快的方向，這正是我們所需要的。所以我們只要沿着梯度的方向一直走，就能走到局部的最低點！
6、α在梯度下降算法中被稱作為學習率或者步長，意味着我們可以通過α來控制每一步走的距離，以保證不要步子跨的太大扯着蛋，哈哈，其實就是不要走太快，錯過了最低點。同時也要保證不要走的太慢，導致太陽下山了，還沒有走到山下。所以α的選擇在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的話，可能導致遲遲走不到最低點，太大的話，會導致錯過最低點！
7、梯度要乘以一個負號
梯度前加一個負號，就意味着朝着梯度相反的方向前進！我們在前文提到，梯度的方向實際就是函數在此點上升最快的方向！而我們需要朝着下降最快的方向走，自然就是負的梯度的方向，所以此處需要加上負號；那么如果時上坡，也就是梯度上升算法，當然就不需要添加負號了。
8、首先給出數學公式：
此公式的意義是：J是關於Θ的一個函數，我們當前所處的位置為Θ0點，要從這個點走到J的最小值點，也就是山底。首先我們先確定前進的方向，也就是梯度的反向，然后走一段距離的步長，也就是α，走完這個段步長，就到達了Θ1這個點！