課程來源：網易雲課堂學習計划（課程鏈接）
作者簡述：作者為一名正在讀研的學生，自己的數學狀態較差。本科期間所學均能算跟得上，而且通過自己的努力經過了研究生考試。但是對數學的理解並不透徹，只是根據課上所學去做題而已。如今科研中，許多過程均需要用到所學的數學知識，然而一個好的理解和一個扎實的基礎才是科研之本。數學雖然是作為一種工具，如果不了解含義，無論是是使用上還是在其基礎之上進行修改均顯得支支吾吾。於是決定重新學習線性代數相關知識，並做此筆記以供復習或和他人分享。
用途：此系列文章均是作者在課上所學及其自己相關的數學思想所做的筆記，如有理解錯誤之處還望大家指出。本系列文章均可不咨詢情況下任意轉載和學習（不可商用）。
作者研究方向為機器學習，如果有相同方向的小伙伴想一起學習，請加QQ123854340（備注來源博客），如果人數較多還可能建群。同時發現文章中有錯誤之處也請發郵件到123854340@qq.com或者下方留言。
在上節課中，我們對方程組（AX = 0）進行求解。這節課，我們將對方程組（AX = b）進行求解，並探討它的可解性。
一、方程組AX = b
首先，給出一個方程組（AX = b）的例子，讓我們先對這個特例進行簡要的分析：（方程組如下圖）
對於這個方程組，我們不妨去思考一下，當b1、b2、b3為何值時，方程組將會無解，為何值時，方程組會有解！仔細觀察，你將會發現方程組第一行系數，和第二行系數與第三行系數存在着關系（r1 + r2 = r3，當然這也是故意設置的，方便講解）如下圖是方程組系數矩陣A（在系數矩陣中看着更加的清晰）
如果將b1、b2、b3設置為1、3、15，很顯然方程組將無解。而如果設置為1、3、4則方程組有解。如果方程組行存在r1 + r2 = r3這樣的關系，那么b的分量也必須滿足，否則將會無解。還可以從另外一個角度去理解。如下，方程組的增廣矩陣為：
我們對其增廣矩陣進行消元變換，如下：
可以看出，當我們對增廣矩陣消元至第三行都為0的狀態時，b3-b2-b1必須為0，否則方程組將無解。
二、方程組AX = b的可解性
在AX = 0方程中筆記中，我們並沒有提到可解性的問題，因為方程組AX = 0一定有解（0解）。而通過上面的初步認識，我們發現AX = b這個方程組有可能出現無解的狀態。
如果從行的角度去理解，我們可以有如下總結。如果方程組系數矩陣A的行的線性組合可以生成0向量，那么相同的組合作用在b的分量上，也必須得到0。
如果從列的角度去理解，我們可以把方程組看做如下表達：
即：可以看成是系數矩陣A的列的線性組合，而方程組的意思則是是否對於向量b存在一種組合系數，使得系數矩陣A的列可以線性的表示b。很顯然，如果b存在於系數矩陣A的列所構成的空間中（即列空間C（A）），那么方程組有解。
三、方程組AX = b的解
當方程組有解的情況下，我們即可求出其完整的解。其解的結構有兩部分組成。
1、特解
根據增廣矩陣的消元變化，我們可以得到方程組的主元和自由變元，當我們將所有的自由變元設置為0，並且利用自由變元求出主元，我們即可獲得方程組的一個特解（因為我們對自由變元設定了值，所以我們稱之為特定的解）。
2、NullSpace（通解）
我們求解方程組AX = b所對應的方程組AX = 0的解，即A的NullSpace（A的零空間）。
由於：
所以Xp+Xn為方程組的解。（AX = b的解不在是一個空間）
對於方程組系數矩陣A的不同狀態，它對應的解也有所不同（但整體解的結構是一樣的）。下面我們對其進行總結：
對於一個m by n的矩陣A，他的秩r存在關系：r<=m,r<=n
1、Full column rank means r = n < m
對應的解只有特解Xp（如果有解的話），也可能解不存在。我們可以自己寫個例子推導下去加注理解。
2、r = n = m
此時，對於任意的b一定存在一個解與之對應。因為A是可逆的方陣。它的列所組成的空間能表示任意個同維度向量。
3、Full row rank means r = m < n
此時對於任意的b都有解，它的解有無窮多個。因為存在自由變元n-r個。
4、r<m,r<n
這種情況為一般情況，它可能無解，也可能有無窮多個解。