回歸中最為基礎的方法, 最小二乘法.
\[\begin{align*} J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\ \end{align*} \]
向量的范數定義
\[\begin{align*} \vec x &= [x_1,\cdots,x_n]^{\rm T}\\ \|\vec x\|_p &= \left( \sum_{i=1}^m{|x_i|^p}\right)^\frac{1}{p}, \space p<+\infty \end{align*} \]
\(L_2\)范數具體為
\[\|\vec x\|_2 = (|x_1|^2 + \cdots+|x_m|^2)^{\frac{1}2} = \sqrt{\vec x ^{\rm T}\vec x } \]
矩陣求導
采用列向量形式定義的偏導算子稱為列向量偏導算子, 習慣稱為\(\color {red} {梯度算子}\), n x 1 列向量偏導算子即梯度算子記作 \(\nabla_x\), 定義為
\[\nabla_x = \frac{\partial}{\partial x} = \left[ \frac{\partial}{\partial x_1}, \cdots, \frac{\partial}{\partial x_m}\right] ^{\rm T} \]
如果\(\vec x 是一個n\times 1\text{的列向量}\), 那么
\[\begin{eqnarray} \frac{\partial y x}{\partial x}=y^T \\ \frac{\partial(x^TA x)}{\partial x}=(A+A^T)x \\ \end{eqnarray} \]
更多參照wiki矩陣計算
通過以上准備, 我們下面進行求解
\[\begin{align*} \therefore \quad J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A{ x } -\vec { b } \right\| }^{ 2 } \\ &= \frac{1}{2} (Ax-b)^T (Ax-b) \\ &= \frac{1}{2} (x^TA^T-b^T)(Ax-b) \\ &= \frac{1}{2}(x^TA^TAx-2b^TAx+b^Tb) \end{align*} \\ \]
需要注意的 b, x 都是列向量, 那么 \(b^T Ax\) 是個標量, 標量的轉置等於自身, \(b^T Ax =x^TA^Tb\)
對\(\vec x\)求導得：
\[J_{LS}'{(\theta)}=A^TA x-A^Tb=A^T(Ax-b) \]