機器學習筆記（1）： 模型和 cost function

表達模型

變量表示：

x⁽ⁱ⁾ : 第 i 個輸入變量，也稱為輸入特征

y⁽ⁱ⁾ : 第 i 個輸入變量，即我們希望預測的內容

(x⁽ⁱ⁾, y⁽ⁱ⁾) ; i = 1,...,m : 表示一個訓練集

X : 輸入值空間； Y ： 輸出值空間

 

模型的表達：

對於監督學習來說，就是給定一個訓練集，輸出一個函數 h:X --> Y，使函數 h(x) 能夠預測對應的 y 值。

函數 h （由於歷史原因）叫做 hypothesis

 

 回歸問題：當輸出 y 是連續值時，我們稱之為回歸問題，如根據房屋面積預測房價

 分類問題：當輸出 y 是離散值時，我們稱之為分類問題，如給定面積預測房子是house還是apartment

 

---

 

損失函數(cost function)

cost function: 用來測量 hypothesis 函數的准確度的函數

損失函數又叫平方差函數

我們要找到合適的 θ₀ 和 θ₁ ，讓 J(θ₀, θ₁) 的值最小

 

以線性函數 h_θ (x) = θ₀  + θ₁x為例，假設 θ₀ = 0，數據集為(1, 1), (2, 2), (3, 3),

當 θ₁ 為 1 時， cost function 為0為最佳情況，如下圖

 

當 θ₁ 為1 時， cost function 為 0.58

繼續計算 θ₁  的其他值，我們可以得到下圖

我們的目的是最小化 cost function ，  θ₁ 為1時，cost function 最小

 

當 θ₀ 和 θ₁  都不為0時， 可以用等高線來表示 cost function，每條線上的 J(θ₀, θ₁) 值都相等

θ₀ = 800，  θ₁ = -0.15

θ₀ = 360，  θ₁ = 0， J(θ₀, θ₁) 的值更接近等高線的中心， J(θ₀, θ₁)的值更小了

θ₀ = 250，  θ₁ = 0.12， J(θ₀, θ₁) 的值最小，在內層圓形的中心

 

---