1、機器學習概念
參考視頻: 1 - 2 - What is Machine Learning_ (7 min).mkv
1998年來自卡內基梅隆大學的Tom Mitchell對機器學習給出了一個更加正式的定義：A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T,as measured by P,improves with experience E.
2、監督學習概念
參考視頻: 1 - 3 - Supervised Learning (12 min).mkv
監督學習（supervised learning）:監督學習就是給出一組特征，也給出特征所對應的結果。以此來推測另外的特征所對應的結果。（當特征為連續值時屬於回歸問題，當特征為離散值時為分類問題。）
3、無監督學習概念
參考視頻: 1 - 4 - Unsupervised Learning (14 min).mkv
無監督學習（unsupervised learning）:無監督學習就是給出一些特征，但是不給出這些特征所對應的結果，以此來判斷這些特征之間有什們結構關系。（聚類問題）
4、線性回歸
4.1、單變量線性回歸
參考視頻: 2 - 1 - Model Representation (8 min).mkv
第一個算法：線性回歸（linear regression）
我們將回歸問題描述如下：
這就是一個監督學習算法的工作方式 。
一種可能的表達方式為：
，因為只含有一個特征/輸入變量，因此這樣的問題叫作單變量線性回歸問題。
4.2、代價函數（cost function 成本函數）
參考視頻: 2 - 2 - Cost Function (8 min).mkv
為了給模型選擇最合適的參數
和
，定義建模誤差（modeling error）為：模型預測值與訓練集中實際值之間的差距 。
我們的目標就是使建模誤差的平方和最小，即：
其中1/2是為后續數學計算提供便利。
因此單變量線性回歸問題可描述為：
代價函數也被稱作平方誤差函數，有時也被稱為平方誤差代價函數。我們之所以要求出誤差的平方和，是因為誤差平方代價函數，對於大多數問題，特別是回歸問題，都是一個合理的選擇。還有其他的代價函數也能很好地發揮作用，但是平方誤差代價函數可能是解決回歸問題最常用的手段了。
4.3、梯度下降
梯度下降是一個用來求函數最小值的算法，我們將使用梯度下降算法來求出代價函數
的最小值。
梯度下降背后的思想是：開始時我們隨機選擇一個參數的組合(𝜃0, 𝜃1, . . . . . . , 𝜃𝑛)，計算代價函數，然后我們尋找下一個能讓代價函數值下降最多的參數組合。我們持續這么做直到到到一個局部最小值（ local minimum），因為我們並沒有嘗試完所有的參數組合，所以不能確定我們得到的局部最小值是否便是全局最小值（ global minimum），選擇不同的初始參數組合，可能會找到不同的局部最小值。
其中𝑎是學習率（ learning rate），它決定了我們沿着能讓代價函數下降程度最大的方向向下邁出的步子有多大，在批量梯度下降中，我們每一次都同時讓所有的參數減去學習速率乘以代價函數的導數。
在這個表達式中，如果你要更新這個等式，你需要同時更新𝜃0和𝜃1。
求出代價函數的導數，即：
該算法被稱為“批量梯度下降”。指的是在梯度下降的每一步中， 我們都用到了所有的訓練樣本，在梯度下降中，在計算微分求導項時，我們需要進行求和運算，所以，在每一個單獨的梯度下降中，我們最終都要計算這樣一個東西，這個項需要對所有𝑚個訓練樣本求和。因此，批量梯度下降法這個名字說明了我們需要考慮所有這一"批"訓練樣本，而事實上，有時也有其他類型的梯度下降法，不是這種"批量"型的，不考慮整個的訓練集，而是每次只關注訓練集中的一些小的子集。在后面的課程中，我們也將介紹這些方法。 例如：一種在不需要多步梯度下降的情況下，也能解出代價函數𝐽的最小值，稱為正規方程(normal equations)的方法。實際上在數據量較大的情況下，梯度下降法比正規方程要更適用一些。
本博客主要引用文章如下：
作者：黃海廣
鏈接：斯坦福大學2014機器學習教程個人筆記（V5.4）
來源：PDF
作者：辛俠平
鏈接：https://www.cnblogs.com/xxp17457741/p/8331246.html
來源：博客園
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。