吳恩達機器學習筆記——正規方程（Normal Equation）

問題描述：m examples : (x⁽¹⁾,y⁽¹⁾), (x⁽²⁾,y⁽²⁾),..., (x^(m),y^(m)) and n features;

計算方法：θ = (X^TX)^-1X^Ty;

計算過程：

(1) x⁽ⁱ⁾ = [ x_0⁽ⁱ⁾

　　　　  x₁⁽ⁱ⁾

　　　　...

　　　　  x_n⁽ⁱ⁾

　　　　]

為列矩陣；

(2)design matrix:

X = [

　　(x⁽¹⁾)^T

　　(x⁽²⁾)^T

　　(x⁽³⁾)^T

　　...

　　(x⁽ⁿ⁾)^T

　　]

(3)compute with the format

θ = (X^TX)^-1X^Ty;

和梯度下降比較

（1）梯度下降：

　　需要選擇速率α；

　　需要許多迭代；

　　當n取值很大（n >= 10⁶）時效果更好；

（2）正規方程：

　　不需要選擇速率α；

　　不需要很多次的迭代；

　　需要進行矩陣計算，復雜度為O（n³）

　　適用於n比較小的情況；