線性代數學習筆記（三）

A的列空間：column space

設Ax=b，以column picture視角看，每一個x，都是A的列的一種線性組合，每種組合均構成一個b。取遍x 得到的所有的b 構成了A的column space

A的零空間：nullspace

設Ax=0，所有的解x 構成的空間，就是A的nullspace. 

如果A可逆，那么A的nullspace只包含零向量；否則A的nullspace包含一系列的解（不可能無解，因為x=0永遠都是解）。

觀察A的零空間：將A化為R(row reduced form of A)

假設Ax=0，對A進行elimination不會影響方程組的解，所以elimination之后的U和原先的A有共同的nullspace（但是他們的column space不同）。U還能進一步轉化成R(=reduced)：pivot均為1，且pivot上下都是0，R和A有相同的零空間，我們能很方便地觀察R的零空間。

R中的 pivot變量 與 free變量

Rx=0與Ax=0的解完全相同，R和A有相同的零空間。

R中：pivot所在的列對應的x分量是pivot variable，其余是free variable，例如上圖的R，x1和x3是pivot variable，x2是free variable.

Ax是A各個列的線性組合，而R中free column 可以很容易地用pivot column表示出來(將pivot column組合起來就是I)，如上例：col2 = 5 * col1 + 0 * col3

觀察R的零空間

取x2=1，得到方程的解是x=c*[-5，1, -0]^T，c是一個常數，（-5,0）=（x2在R中對應的列）*-1

再如：

\( R=rref(A)=\begin{bmatrix}\mathbf{1} & 1 & \mathbf{0} & 1\\ \mathbf{0} & 0 & \mathbf{1} & 1\\ 0 & 0 & 0 & 0\end{bmatrix} \)

第一步令(x2,x4)=(1,0)，第二步令(x2,x4)=(0,1)，每次只讓一個free variable等於1（其余free variable均為0，這樣pivot column只需要解決等於1的free column），對應的解是：

\( x=x_2\begin{bmatrix}-1\\ \mathbf{1}\\ 0\\ \mathbf{0}\end{bmatrix}+x_4\begin{bmatrix}-1\\\mathbf{0}\\-1\\\mathbf{1} \end{bmatrix} \)

假設\( R= \begin{bmatrix} I & F \end{bmatrix} \)，那么R對應的nullspace matrix就是\( X=\begin{bmatrix} -F \\ I \end{bmatrix} \)

總結：Ax=0的解依賴於 number of free variable = n - rank(A)

• 假如free variable數目為0：解只有零向量
• free variable數目大於0：解即為nullspace matrix的列（乘以任意常數），列的寬度=free variable的數目

Ax=b

存在解的條件

對增廣矩陣elimination之后得到Rx=d，d必須在R的column space中才行，設rank(R)=r：

• R在r+1行以下都是0，對應的d在r+1行以下也應該都是0
• R在r行以上包含一個I，可以組合出在r行以上出現的任意的d

此處b3-b1-b2必須等於0，Ax=b才能有解。

特解x_particular

同Ax=0類似，用elimination方法化成Rx=d之后，特解是：free variables=0, pivot variables from d. 下例中，d=[1,6,0]'

特解可能沒有、只有一個（滿秩，nullspace只有零向量）、有很多個（nullspace有很多），上面這個方法只是比較方便的一種找特解法！

通解

=one of x_particular + all x_nullspace  

rank

某個矩陣的rank！

The rank r is the "dimension" of the column space.

rank	R	Ax = b	Ax=0	自由變量
r=m=n	I	只有一個解	只有零向量	沒有
r=m<n	I F	有無數個解	有很多	有
r=n<m	I 0	0或1個解	只有零向量	沒有
r<m,r<n	I F 0 0	0或無數個解	有很多	有

當存在自由變量時，nullspace就不止是一個0點，給Ax=b和Ax=0帶來無限可能。自由變量的本質是可以由pivot variable線性表示出來。

當R底下是0時，0那部分會增加限制，有可能導致d不在pivot column的column space中。

右邊多出，錦上添花；下面多出，生死一線。

basis

某個空間的basis！

相互獨立且span出某個空間的一組向量。Rⁿ空間需要有n個相互獨立的向量。

矩陣A的column space的basis可以是矩陣A的pivot column（注意，不是elimination后的R的pivot column，R的pivot column是C(R)的basis）

矩陣A的row space的basis可以是矩陣A elimination之后的非零行(elimination過程不改變A的row space)。

dimension

某個空間的dimension！

一個空間可以有無數個basis，但每個basis中包含的向量數目都相同，都是空間的dimension.

矩陣的四個基本子空間（A 的left nullspace是A^T的nullspace，取轉置：(A'y)'=y'A''=y'A=0'，故名left nullspace）：

A's	is subspace of	its dimension	one of its basis
row space	R^n	r	pivot rows
column space	R^m	r	pivot columns
nullspace	R^n	n-r	special solutions for Ax=0
left nullspace	R^m	m-r	special solutions for A'x=0

筆記四中有四個子空間更深入的討論！