Linear Classifier：線性分類器

1. 線性分類器：通過線性映射，將數據分到對應的類別中

①線性函數：f（xi​, W, b）= W * xi ​+ b

W為權值（weights），b為偏移值（bias vector），xi為數據

假設每個圖像數據被拉長為一個長度為D的列向量，其大小為[D x 1]；W是大小為[K x D]的矩陣，b是大小為大小[K x 1]的列向量

以CIFAR-10為例，xi包含第i個圖像的所有像素信息，這些信息被拉成為一個[3072 x 1]的列向量，W的大小為[10 x 3072]，b的大小為[10 x 1]

因此，3072個數字（原始像素數值）作為輸入，10個數字（不同分類得到的分值）作為輸出，然后概率最大的分類作為輸出

 

②對W和b的理解：

W：W是一個m行n列的矩陣，[m x n]。其中矩陣的每一行，對應着不同的分類器/分類模板，一共有m個分類模板。W與數據X矩陣乘，是為了計算每一個分類輸入的數據（圖像）的匹配度，因此假設Xi是一個[n x 1]的列向量，則W*Xi ->  [m x n] * [n x 1] 得到的是[m,1]，即m行一列，其中每一行的數字代表着輸入的圖像與該分類模版的匹配程度，每一個匹配度加上對應的偏移值，最后只需從m個數字中選出匹配度最大的那個數所對應的分類即可，該分類就是輸入圖像所屬分類

b：b是一個m行1列的矩陣，[m x 1]。矩陣的每一行對應着不同分類的偏移值，一共有m種分類，所以一共有m行

關於訓練與參數W、b的關系：通過訓練不斷學習，更新W和b，訓練的目標就是獲取參數W和b，因此訓練過程中參數W和b是在不斷調整的，調整的目的是使得模型計算出來的分類情況與訓練集中圖像數據的真實標簽相同 

 

附：矩陣相乘的定義