矩陣的初等變換又分為矩陣的初等行變換和矩陣的初等列變換。
1）初等行變換：所謂數域 $P$ 上矩陣的初等行變換是指下列 $3$ 種變換：
a. 以 $P$ 中一個非零的數 $k$ 乘矩陣的第 $i$ 行，即為 $E_{i}(k)$，那它的逆矩陣自然就是 $E_{i}(\frac{1}{k})$。
b. 把矩陣第 $i$ 行的 $k$ 倍加到第 $j$ 行，這里 $k$ 是 $P$ 中的任意一個數，記為 $E_{ij}(k)$，要想把第 $j$ 行變回去，自然得減掉第 $i$ 行的 $k$ 倍，即 $E_{ij}(-k)$。
c. 互換矩陣中第 $i$ 行和第 $j$ 行，記為 $E_{ij}$，逆矩陣為 $E_{ij}$，這是很顯然的，就是再交換一次就變回去了。
2）初等列變換：所謂數域 $P$ 上矩陣的初等列變換是指下列 $3$ 種變換：
a. 以 $P$ 中一個非零的數 $k$ 乘矩陣的第 $i$ 列，記為 $E_{i}(k)$。
b. 把矩陣的第 $i$ 列的 $k$ 倍加到第 $j$ 列，這里 $k$ 是 $P$ 中的任意一個數，記為 $E_{ij}(k)$。
c. 互換矩陣中第 $i$ 列和第 $j$ 列，記為 $E_{ij}$。
初等矩陣：由單位矩陣 $E$ 經過一次初等變換得到的矩陣稱為初等矩陣。
矩陣經過初等變換后不會改變它原來的秩，因為初等矩陣是滿秩的方陣，所以它是可逆的，如
$$PA = B$$
於是有
$$r(B) \leq r(A)$$
因為 $P$ 可逆，所以有
$$A = P^{-1}B$$
於是
$$r(A) \leq r(B)$$
所以
$$r(A) = r(B)$$
注：如果不了解這個過程，可以先去閱讀博客。
左行右列定理：初等矩陣 $P$ 左乘或(右乘) $A$ 得到 $PA(AP)$，就是對 $A$ 做了一次與P相同的初等行(列)變換。即要使矩陣 $A$ 做出和初等陣相同的列變換，
則 $A$ 右乘 $P$。要使矩陣 $A$ 做出和初等陣相同的行變換，則 $A$ 左乘 $P$。
為什么是這樣的呢？可以閱讀博客。
其實就是從向量角度來理解矩陣乘法，對於矩陣相乘 $AB=C$，我們可以這樣理解：
1）矩陣 $C$ 的每一個行向量是矩陣 $B$ 的行向量的線性組合，組合的系數是矩陣 $A$ 的每一行。
2）矩陣 $C$ 的每一個列向量是矩陣 $A$ 的列向量的線性組合，組合的系數是矩陣 $B$ 的每一列。