線性代數（筆記二）
課程來源：網易雲課堂學習計划（課程鏈接）
作者簡述：作者為一名正在讀研的學生，自己的數學狀態較差。本科期間所學均能算跟得上，而且通過自己的努力經過了研究生考試。但是對數學的理解並不透徹，只是根據課上所學去做題而已。如今科研中，許多過程均需要用到所學的數學知識，然而一個好的理解和一個扎實的基礎才是科研之本。數學雖然是作為一種工具，如果不了解含義，無論是是使用上還是在其基礎之上進行修改均顯得支支吾吾。於是決定重新學習線性代數相關知識，並做此筆記以供復習或和他人分享。
用途：此系列文章均是作者在課上所學及其自己相關的數學思想所做的筆記，如有理解錯誤之處還望大家指出。本系列文章均可不咨詢情況下任意轉載和學習（不可商用）。
作者研究方向為機器學習，如果有相同方向的小伙伴想一起學習，請加QQ123854340（備注來源博客），如果人數較多還可能建群。同時發現文章中有錯誤之處也請發郵件到123854340@qq.com。
上節課中，我們通過求解方程組，引入了方程組的矩陣形式。並且對於兩種不同的表示方式，給出了其幾何意義。其次又通過以列的表示方式引入了線性組合。（詳見筆記一）本節課中我們主要以消元為主而展開。
一、消元
消元對於我們大多數人來說都很熟悉，對於一個方程組求解的過程中，我們經常會使用（計算機也是通過這種方式求解）。對於不同的方程組，有些可以消元求解，而有些不可以。所以這里消元有成功和失敗兩種情況，下面我們看一種消元成功的例子。
我們取其系數矩陣為：
下面我們以求解方程組的形式進行消元（從上向下消元），首先我們找到我們第一個要消去的變元x，其在第一個方程中的系數為a11 = 1。如果想用其消去第二個方程及第三個方程中的x，則需要擴大相應的倍數並相減。（這里我們把第一行擴大3倍，再用第二行減去擴大后的結果，以下操作均類似）
經過如上操作所得到的系數矩陣為：
然后繼續找到第二個要消除的變元y，其在第二個方程中的系數為a22 = 2。再次向下消元得系數矩陣為：
至此消元結束，在消元過程中我們選取消去變元的系數，我們稱之為主元。（主元分別為1，2，5）對於給定方程組消元進行的很順利，然而並不是所有的方程組都如此。下面考慮兩種失敗的情況：
1、當在消元過程中尋找到的主元為0，則無法擴大倍數向下消元，此時需要向下交換兩個方程組。對應系數矩陣，稱之為換行，這個我們也很熟悉，只是更換了兩個方程的順序。
例如：把第一個矩陣中的8改為6，則經過第一次消元后，主元出現為0。不過幸好其下一行出現不為0的系數，則可作出更換。
2、當出現無法換行的情況。
例如：把第一個矩陣中的a33 = 1，改為-4.則經過第二次消元后。第三行均為0此時，第三個主元為0，由於是最后一行又無法換行，所以消元失敗且這種情況方程組是無解的。
二、回代
在方程組進行消元后，想要求出其解還需進行回代這一步。為了表示方便我們仍然使用系數矩陣，同時在這里引入新的矩陣為增廣矩陣。引入增廣矩陣的目的是為了使Ax = b中的b也隨着系數矩陣的變換而變換，從而實現回代。
如下為該方程組的系數矩陣和增廣矩陣：
經過多次消元變換增廣矩陣的變換過程如下：
由最后變換得到的增廣矩陣可寫出方程形式如下：
通過方程現有形式，我們很容易的求出z = -2，然后利用z = -2求出y = 1，再利用z = -2、y = 1求出x = 2。整個向上的代入求解過程即為回代。
三、以矩陣形式進行消元變換
上述所有描述均以求解方程組的形式（用系數矩陣僅僅為了方便表示）而表述的，那么如何利用矩陣的形式進行表述呢？下面我們來看這個很重要的問題。
在上篇文章中我們所講過以列的形式去計算矩陣和向量的乘積，我們把其過程看成矩陣的N列的線性組合。那么當向量和矩陣的乘積如何計算？表示的又是什么意義呢？
如下：
我們可以看成如下形式：
即矩陣N行的線性組合，組合的系數為向量的分量。
其結果如下圖：
那么當左邊為2*3的矩陣呢？我們可以視為兩個向量。如下：
由上述推導出其計算過程如下：
即矩陣N行的線性組合，組合系數分別為兩個向量的分量（這里的2*3矩陣我們看成兩個行向量）。
那么根據這個求解過程我們能發現一個規律，如果矩陣和矩陣相乘可以看做向量和矩陣相乘，繼而看做矩陣行的線性組合，那么我們就可以將一個矩陣左乘另外一個矩陣而使其變換到我們想要的矩陣。則左側的矩陣可以理解為一種變換。例如：在我們利用求解方程組的形式進行第一次消元的時候，我們用第二列減去第一列的三倍，那么這個過程用矩陣如何實現？我們是否可以找到一種變換使得系數矩陣1經過這次變換而成為系數矩陣2？（如下圖）
這個用於變換的矩陣是多少？怎么得出呢？如果認真推導了如上的過程，你會很容易求出這個矩陣。（值得仔細思考）
這個對於我們線性代數的書中所說的左乘初等矩陣（這里的就是A）相當於行變換做出了直觀的解釋！想想上節中提到的列的形式就是右乘初等矩陣相當於列變換。想想這么多年之后弄懂了道理才感覺到這個定理還是十分好背的。由這個我們很容易求出下一個用於消元變換的矩陣。（第一個我們稱為E21，第二個稱為E32）E21的結果如下：
那么整個的消元過程變成矩陣相乘的形式，我們可以這樣表示E32*E21*B = C（C是結果數組）。這樣的話消元是否顯得十分簡潔了呢？而且我們還可以由矩陣的結合律先將E32*E21算出來而形成一個變換A直接將B變成C（A*B = C）。而相對於這個問題，我們可能又會問是否經過一種變換D將C變回B呢？那么這種變換D和變換A的關系是什么樣的呢？那我們就在下節課中說吧。