線性代數，面向連續數學，非離散數學。《The Matrix Cookbook》，Petersen and Pedersen，2006。Shilov(1977)。
標量、向量、矩陣、張量。
標量(scalar)。一個標量，一個單獨的數。其他大部分對象是多個數的數組。斜體表示標量。小寫變量名稱。明確標量數類型。實數標量，令s∊ℝ表示一條線斜率。自然數標量，令n∊ℕ表示元素數目。
向量(vector)。一個向量，一列數。有序排列。次序索引，確定每個單獨的數。粗體小寫變量名稱。向量元素帶腳標斜體表示。注明存儲在向量中元素類型。如果每個元素都屬於R，向量有n個元素，向量屬於實數集R的n次笛卡兒乘積構成集合，記ℝⁿ。明確表示向量元素，元素排列成一個方括號包圍縱列。向量看作空間中點。每個元素是不同坐標軸上的坐標。索引向量元素，定義包含元素索引集合，集合寫在腳標處。用符號-表示集合補集索引。
矩陣(matrix)。一個二維數組。每個元素由兩個索引確定。粗體大寫變量名稱。如果實數矩陣高度為m，寬度為n，A∊ℝ⁽m*n⁾。表示矩陣元素，不加粗斜體形式名稱，索引逗號間隔。A1,1表示A左上元素，Am,n表示A右下元素。“:”表示水平坐標，表示垂直坐標i中所有元素。Ai,:表示A中垂直坐標i上一橫排元素，A的第i行(row)。右下元素。A:,i表示A的第i列(column)。明確表示矩陣元素，方括號括起數組。矩陣值表達式索引，表達式后接下標，f(A)i,j表示函數f作用在A上輸出矩陣第i行第j列元素。
張量(tensor)。超過兩維的數組。一個數組中元素分布在若干維坐標規則網絡中。A表示張量“A”。張量A中坐標(i,j,k)元素記Ai,j,k。
轉置(transpose)。矩陣轉置，以對角線為軸鏡像。左上角到右下角對角線為主對角線(main diagonal)。A的轉置表為A⫟。(A⫟)i,j=Aj,i。向量可作一列矩陣。向量轉置，一行矩陣。向量元素作行矩陣寫在文本行，用轉置操作變標准列向量來定義一個向量，x=[x1,x2,x3]⫟。標量可看作一元矩陣。標量轉置等於本身，a=a⫟。
矩陣形狀一樣，可相加。對應位置元素相加。C=A+B，Ci,j=Ai,j+Bi,j。標量和矩陣相乘或相加，與矩陣每個元素相乘或相加，D=a*B+C，Di,j=a*Bi,j+c。
深度學習，矩陣和向量相加，產生另一矩陣，C=A+b，Ci,j=Ai,j+bj。向量b和矩陣A每一行相加。無須在加法操作前定義一個將向量b復制到第一行而生成的矩陣。隱式復制向量b到很多位置方式，稱廣播(broadcasting)。
矩陣、向量相乘。
兩個矩陣A、B矩陣乘積(matrix product)是第三個矩陣C。矩陣A列數必須和矩陣B行數相等。如果矩陣A的形狀m*n，矩陣B的形狀是n*p，矩陣C的形狀是m*p。兩個或多個矩陣並列放置書寫矩陣乘法。C=AB。Ci,j=Sumk(Ai,kBk,j)。列乘行。兩個矩陣對應元素乘積，元素對應乘積(element-wise product)，Hadamard 乘積(Hadamard product)，記A⊙B。兩個相同維數向量x、y點積(dot product)，矩陣乘積x⫟y。矩陣乘積C=AB計算Ci,j步驟看作A第i行和B的第j列間點積。矩陣乘積服務分配律(A(B+C)=AB+AC)、結合律(A(BC)=(AB)C)。不滿足交換律(AB=BA)。兩個向量點積滿足交換律x⫟y=y⫟x。矩陣乘積轉置 (AB)⫟=B⫟A⫟。兩個向量點積結果是標量，標量轉置是自身，x⫟y=(x⫟y)⫟=y⫟x。Ax=b，A∊ℝ⁽m*n⁾是已知矩陣，b∊ℝ⁽m⁾是已知向量，x∊ℝⁿ是求解未知向量。向量x每個元素xi都未知。矩陣A第一行和b中對應元素構成一個約束。
單位矩陣、逆矩陣。
矩陣逆(matrix inversion)。單位矩陣(identity matrix)，任意向量和單位矩陣相乘，都不會改變，保持n維向量不變的單位矩陣記In。In∊ℝ⁽n*n⁾。∀x∊ℝⁿ,Inx=x。單位矩陣結構簡單，所有沿對角線元素都是1，其他位置所有元素都是0。矩陣A的矩陣逆記A⁽-1⁾，A⁽-1⁾A=In。求解式Ax=b,A⁽-1⁾Ax=A⁽-1⁾b,Inx=A⁽-1⁾b,x=A⁽-1⁾b。當逆矩陣A⁽-1⁾存在，能找到閉解形式。相同逆矩陣可用於多次求解不同向量b方程。逆矩陣A⁽-1⁾在數字計算機上只能表現出有限精度，有效用向量bt算法得到更精確x，逆矩陣A⁽-1⁾主要作理論工具。
參考資料：
《深度學習》
歡迎推薦上海機器學習工作機會，我的微信：qingxingfengzi
我有一個微信群，歡迎一起學深度學習。