搞統計的線性代數和概率論必須精通，最好要能鍛煉出直覺，再學機器學習才會事半功倍。
線性代數只推薦Prof. Gilbert Strang的MIT課程，有視頻，有教材，有習題，有考試，一套學下來基本就入門了。
不多，一共10次課。
鏈接：https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/calendar/
| SES # | TOPICS | KEY DATES |
|---|---|---|
| 1 | The geometry of linear equations | |
| 2 | Elimination with matrices | |
| 3 | Matrix operations and inverses | |
| 4 | LU and LDU factorization | |
| 5 | Transposes and permutations | Problem set 1 due |
| 6 | Vector spaces and subspaces | |
| 7 | The nullspace: Solving Ax = 0 | |
| 8 | Rectangular PA = LU and Ax = b | Problem set 2 due |
| 9 | Row reduced echelon form | |
| 10 | Basis and dimension | |
| 11 | The four fundamental subspaces | Problem set 3 due |
| 12 | Exam 1: Chapters 1 to 3.4 | |
| 13 | Graphs and networks | |
| 14 | Orthogonality | Problem set 4 due |
| 15 | Projections and subspaces | |
| 16 | Least squares approximations | |
| 17 | Gram-Schmidt and A = QR | Problem set 5 due |
| 18 | Properties of determinants | |
| 19 | Formulas for determinants | |
| 20 | Applications of determinants | Problem set 6 due |
| 21 | Eigenvalues and eigenvectors | |
| 22 | Diagonalization | |
| 23 | Markov matrices | Problem set 7 due |
| 24 | Review for exam 2 | |
| 25 | Exam 2: Chapters 1-5, 6.1-6.2, 8.2 | |
| 26 | Differential equations | |
| 27 | Symmetric matrices | |
| 28 | Positive definite matrices | |
| 29 | Matrices in engineering | Problem set 8 due |
| 30 | Similar matrices | |
| 31 | Singular value decomposition | Problem set 9 due |
| 32 | Fourier series, FFT, complex matrices | |
| 33 | Linear transformations | |
| 34 | Choice of basis | Problem set 10 due |
| 35 | Linear programming | |
| 36 | Course review | |
| 37 | Exam 3: Chapters 1-8 (8.1, 2, 3, 5) | |
| 38 | Numerical linear algebra | |
| 39 | Computational science | |
| 40 | Final exam |
待我學完后，會來總結線性代數在統計學中的地位，在項目實踐中的用途。
打卡
2019年03月11日
看完前5個Lec的視頻，復習教材的相應章節，做完習題Problem set 1。
核心總結（根據教材章節分）：
Chapter 1 Introduction to Vectors
1.1 Vectors and Linear Combinations
1. 線性代數的核心就是解方程式組，限制空間求解；
2. 解法很多，可以用幾何法，高中的傻瓜式求解，線性代數則將方程式組轉化成了矩陣的形式，發明了自己獨特的一套求解辦法，降低了求解的時間復雜度；
3. 向量一般指列向量，PCA里也是，Linear Combinations線性組合，可以看做是向量或矩陣加減的泛化，線性組合的前提就是維度相同。列向量和我們處理的基因表達矩陣完全類似，列向量就是一個樣本/細胞，每一行就是一個維度，所以二維的向量我們是可以在平面內可視化的.
4. 線性組合的優點，兩個二維（線性無關）的可以組合得到平面內的每一個向量，三個三維的可以組合得到空間內的每一個向量。同時直觀上如果另一個向量不在線性組合的空間里，那它肯定不是線性組合的解，無法通過線性組合得到另一個向量。
5. 不要把線性組合、方程組矩陣化和矩陣乘法搞混，線性組合的對象是同緯度的許多個向量或矩陣；方程組矩陣化，任何線性方程組都可以寫成矩陣形式，左邊是系數矩陣和變量向量，右邊是截距；矩陣乘法對左右兩個矩陣的維度有要求，后面會解釋為什么。
6. 超綱一下：矩陣的乘法的本質就是線性變換，可以想象成把一堆數據線性投射到另一個空間。這也解釋了為什么左邊矩陣的列數必須等於右邊矩陣的行數，按照PCA來理解，右邊的就是特征向量的矩陣，每一列都是一個新的維度，每一行都是線性的權重。對左邊矩陣而言，每一列是一個原維度，每一行就是一個樣本點。這樣可以明白矩陣乘法對右邊矩陣維度的要求了嗎？但是數學的證明還是沒有。
head(mtcars) res <- prcomp(mtcars, scale. = F, center = F, retx = T) res$rotation[1:5,1:5] recover <- as.matrix(mtcars) %*% as.matrix(res$rotation) recover[1:5,1:5]
7. 表示形式，有一套嚴謹的語言系統有助於我們的思考，所以記住矩陣的表示是[ ], 向量的表示是( )。向量這么表示是為了節省空間，我們書寫是從左到右的，(a, b, c)是一個躺下來的列向量。
8. 記住線性代數的矩陣不是無偏的，行和列的意義完全不同，不同的矩陣行和列的意義也不同，但它們肯定是以下兩個中的一個：樣本維度和特征維度。舉例吧：PCA原數據矩陣，行是樣本維度，列是特征維度；PCA得到的特征向量的矩陣，行是原數據矩陣的特征維度，列是新的PC維度，PC的個數我們可以選擇。列向量的每一行就是一個特征維度。（仔細研究上面的R代碼）
1.2 Lengths and Dot Products
1. 點積，dot product, 熟悉而陌生，它的操作對象是兩個同維度的列向量，計算方法是每個維度分別求積然后求和，幾何意義就是一個的投影長度乘以另一個的長度，滿足交換律。a·b = |a|·|b|·cosθ = b·a = |b|·|a|·cosθ。點積的應用：根據符號判斷兩向量的夾角，是否正交。還有一個叫做叉積，就是求兩個向量平面的垂直向量。
2. 交換、結合和分配律：（判斷運算的規律）交換律，兩個變量，判斷運算是否能夠交換順序；結合律，三個變量，同運算能否交換先后順序；分配律，三個變量，多個運算能夠交換先后順序。
3. 向量長度的表示，||v|| = √v·v，單位向量就是長度為1的所有向量的集合。任何向量都可以轉換為單位向量，把每一個維度除以該向量的長度就行。
4. 超綱一下：什么是線性相關和線性無關？研究對象是兩個以上的向量組，如果存在不全為0的系數，其中任一向量可有其他向量線性表示，則為線性相關。對於二維而言，線性相關表示其方向相同或相反，否則為線性無關，線性無關的向量組有一個極其重要的特性，那就是n個n維的線性無關的向量組可以通過線性組合表征整個R^n。
5. 再超綱一下：什么是秩？矩陣的秩，可以確定方程組有無唯一解，對向量組而言，秩就是極大線性無關向量組/方程組。
1.3 Matrices
1. 矩陣的維度，3 X 4, 3是行數，4是列數，需要牢記。
2. 矩陣與矩陣或向量的乘積的改寫形式，可以改成線性組合的形式，也可以利用矩陣分塊的特性來拆分，真的千變萬化，請熟練掌握。
3. 超綱：矩陣的對角化在PCA中非常重要。什么是正交矩陣？ 正交矩陣（Orthogonal Matrix）是指其轉置等於其逆的矩陣。列向量之間彼此正交，就是內積為0，俗話說就是垂直。正交老是容易和相關搞混，其實很好區分，正交是垂直，相關就是平行。
4. 超綱：相似矩陣是什么？
5. 協方差矩陣的矩陣求法？非常簡潔的形式。
6. 矩陣乘法的本質，線性變化，投射到新的空間。阮一峰簡單證明了矩陣乘法的運算規則。還有篇博文梳理了矩陣乘法的本質。左邊是原數據，列是特征維度，右邊的矩陣是施加運動的矩陣，每一列都是一個帶變化權重的新維度，所以它的列數可以無限多，只要你喜歡。標量與矩陣的乘法符合交換律，但矩陣與矩陣的乘法則不符合（向量是特殊的矩陣，同理）。
7. 矩陣分塊后，大部分運算都是可以通用的，比如矩陣乘法。矩陣分塊能將很多運算立馬簡化。
8. 矩陣有個非常好的性質，按行並行，也就是說行是可以隨便拆分的，尤其是在多元方程組和矩陣形式之間轉換時。想拆，必須左右兩邊都是矩陣，因為矩陣相等，每個對應的位置都必須相等。
9. 什么矩陣不可逆Inverse Matrix？行列式不為0
總結：這一章介紹了一些基本概念，還沒有完全進入正文。
Chapter 2 Solving Linear Equations
下一步計划：圖論，Graph Theory
待續~
有啟發的鏈接：