共軛梯度法關鍵是要找正交向量尋找方向，去不斷逼近解。
其本質是最小二乘解的思想
最小二乘解
其中A系數矩陣是確定的，Ax是永遠都取不到向量 b的，取得到那就是不用最小二乘解
我要求AX和b最小的距離，就是要求b在Ax上的投影，向量b-AX一定是要垂直於AX的
對A要求要滿秩
我的最小二乘法在於找到X，一開始我不理解迭代，因為很明顯
這一步就能得到結果，共軛梯度法就是要逼近
共軛梯度法
1.
換一種求解方式
2.
等於
，而且A滿秩，所以二次項里面的那個矩陣正定。
把 目標函數展開，化簡，對每一項求ai 偏導，求出X的系數（在此假設已經找到了一組基能夠表示X）
對ai求偏導算出
這里解釋為什么A正定
3.尋找X使得
最小
4.首先要在
張成的子空間上找到一組基來表示 x
5.事實上，已經有了一組基能表示
空間
因為，x0等於0，所以r0等於b
因為
，所以
才相等
向量 pk 與向量b 同維，乘在一起數是相同的，相減就是0
因為
來表示解很不方便，所以需要構造另外一組基
來表示x
成立
由一組正交基導出正交基，自然想到了斯密特正交化
比較難以理解的地方是
因為A是正定矩陣，所以A 的轉置等於A自己 但是Pk的轉置等於pk t
這里消除了 i 前面，所有項
是因為
再加上
后面的基本上都看得懂