一.初等矩陣
將單位陣E經過一次變換得到的矩陣稱為初等矩陣。初等矩陣都是方陣。這種初等變換有某一行（列）的n倍加到另一行（列）上、互換行列位置、某一行（列）全部乘以某實數三種基本情況。
每一個初等矩陣都可以寫作單位陣左乘或右乘一個矩陣的形式。初等行變換是左乘，初等列變換時右乘，下面以2x3矩陣為例說明行變換對應左乘，列變換對應右乘：
這個變換是將第二行乘以1加到第一行上，相當於左乘一個矩陣，這個矩陣是由單位陣變換而來，同樣是將單位陣的第二行乘以1加到第一行上得到。我們可以將這個過程一般化表示：
這是將第二行乘以m加到第一行上的行變換的一般化表示。對於初等列變換同樣地（只是變成了右乘相應的方陣），如將第二列和第三列都加到第一列上：
結合矩陣的意義可以知道，矩陣的乘法對應了空間變換的復合，因此對矩陣應用初等行列變換相當於矩陣的對應空間也在變換。一般地，我們將矩陣視作列向量的組合，相應的計算矩陣對應空間的變換的復合時使用的是左乘，自然對應的矩陣變換就是行變換。
對於兩個矩陣A和B，如果A能經過初等變換得到B，那么就稱為A和B等價。怎么理解這種等價關系呢？我們初等變換有3種方式：交換兩行（列）、某一行（列）乘以實數n、將一行（列）乘以實數m然后加到另一行（列）上，而我們會發現行列式中也有這三種運算，而且行列式中這三種變換也只會將行列式的值改變為原來的n倍，如交換兩行（列），行列式的值變為原來的-1倍，所以行列式的值如果不為0的話，那么經過這些變換后行列式值仍然不為0。因此我們可以大膽估計，初等變換並不會改變矩陣的秩（方陣對應行列式不為0，方陣的秩等於階數），實際上也正是如此（不做證明）。
單位陣都是滿秩的，因此單位陣經過初等變換后得到的初等矩陣也是滿秩的。所以這里我們可以這樣理解等價關系：矩陣A和B等價意味着這兩個矩陣行列數相同以及秩相等。其實這里說的等價只是一種弱等價關系，這種只有秩相等的兩個矩陣的關系可以稱為相抵關系。
二.初等矩陣用於求逆矩陣
1.逆矩陣
什么是逆矩陣？我們知道矩陣對應着相應的空間變換，這種空間變換有旋轉、拉伸和投影三種形式，那么我們以下面兩個矩陣為例說明逆矩陣：
可以看到，第一個矩陣對應的變換是繞着向量（1，1，1）所在直線旋轉90度並拉伸三個坐標的長度為原來的兩倍，第二個矩陣同樣是繞着向量（1，1，1）所在直線旋轉90度，只是旋轉方向和第一個矩陣相反，同時三個坐標的長度壓縮為原來的一半。很容易發現，這兩個矩陣對應的變換是完全相反的，這樣的兩個矩陣就互為逆矩陣（指對應空間變換完全相反）。既然對應的空間變換完全相反，那么復合這兩種空間變換得到的新的空間就和原來空間相同，也就是這兩個矩陣的乘積（不論誰在左誰在右）為單位陣（這里不再驗證了）。
2.用初等變換求逆矩陣
初等行變換對應着空間變換，因此我們可以用初等行變換記錄空間變換的過程。既然逆矩陣是和原矩陣變換方向完全相反的矩陣，那么我們將原矩陣對應的空間還原回去，並使用初等行變換記錄還原的過程得到的矩陣不就是相應的逆矩陣嗎？因此便有了以下求逆矩陣的方法：
將要求逆矩陣的矩陣右邊增廣一個方陣，然后對左邊矩陣應用初等行變換使它變換為方陣，右邊的方陣跟隨左邊矩陣應用相同變換。左邊矩陣變換為方陣的過程就是將這個矩陣對應的空間反向變換為原始的空間，而右邊的方陣的跟隨變換相當於記錄了這個逆向變換的過程，這個記錄的結果就是原來矩陣的逆矩陣。
3.利用伴隨陣求逆矩陣
伴隨矩陣是用於求逆矩陣的一種構造矩陣。它的結構如下圖（圖片來源於百度）：
為什么這么構造呢？根據行列式性質，行列式可以按照某一行（列）展開，展開后的結果就是這一行（列）的每個元素乘以其對應的代數余子式的總和。所以我們的構造方法是將原來方陣寫成對應的行列式，然后求所有元素的代數余子式按照原來方式排列后再轉置。經過轉置后，根據矩陣左行乘右列的性質，如果A右乘A*，那么結果矩陣的元素就等於A的行乘上A*的列，以A的第一行乘以A*的列為例，根據行列式的規則，只有乘上A*的第一列的結果就是A的行列式值，而乘以其他列的結果都為0。同理，A的其他行乘上A*的列的結果就如下所示：
顯然這個行列式等於單位陣乘以|A|。也就有了以下的公式：
其中In是n階單位陣。由於A和A-1的結果為單位陣，因此公式兩邊同時左乘A-1，就得到了如下公式：
當|A|不為0時也就有：
這就是使用伴隨矩陣求逆矩陣的公式。
4.方陣可逆
根據上一小節中根據矩陣的伴隨陣求逆矩陣的公式推導過程可知，當方陣對應行列式值不為0時矩陣有逆矩陣。這也很容易理解，當方陣對應行列式值為0時，方陣的秩小於階數，這意味着經過方陣對應的空間變換后，空間的維度會減小，從高維變為低維，但是當從低維反向變換回高維時就會出現問題，因為高維空間投影到低維空間的變換是n對一，也就是說高維空間中有無數條向量映射到低維空間中是同一條向量，因此從低維空間反向投影到高維空間是不可行的，所以像這樣不滿秩的方陣也就沒有逆矩陣，也稱為不可逆。