1、得分函數
線性分類器：在坐標系上就是一直線，大於它就是1，小於它就是0。
一張圖假設是32*32*3的像素矩陣，首先把它平展為3072*1的向量，如果最后結果只能是10個類別。那么得分函數結果將是10*1的向量。w將是10*3072的矩陣，b是10*1的向量。
意思就是，這張圖通過計算，屬於這一類的得分是多少。
2、損失函數
得分函數結束后，每一個類都有得分。將這些預測結果和實際的結果求出一個偏差，來表明預測的准確性。
1）多類別支持向量機損失/Multiclass Support Vector Machine loss
正確的類別結果獲得的得分比不正確的類別，至少要高上一個固定的大小Δ。類得分結果f(xi,W)，其中第j類得分我們記作f(xi,W)j，該圖片的實際類別為yi。就是每個類的得分-實際類的得分+Δ，再和0取最大值。
3、正則化
損失函數存在一弊端，
假設存在一組w使得一個類減去實際類的得分小於10，則一定存在一組γ*w使得其得分大於10。所以要加上一個正則項，在下方式中，是把所有W的元素的平方項求和
4、過擬合（overfitting）、泛化能力
泛化能力：用來表征學習模型對於未知數據的預測能力。
過擬合：在學習模型的時候，一味的最小化訓練誤差，所選的模型的復雜度可能會很高，這種現象稱為過擬合。出現過擬合的原因是因為訓練集中的數據本身就存在有噪聲，一味的追求訓練誤差的最小化，會導致對未知數據的預測能力降低。
避免過擬合的方法有很多：early stopping、數據集擴增（Data augmentation）、正則化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。
5、softmax分類器
有兩種特別常見的分類器，SVM是其中的一種，而另外一種就是Softmax分類器。
做的事情就是把一列原始的類別得分歸一化到一列和為1的正數表示概率。
6、激勵函數
每一次輸入和權重w線性組合之后，都會通過一個激勵函數(也可以叫做非線性激勵函數)，經非線性變換后輸出。
7、梯度下降
實際是反向傳播的機制，目的是找到能讓損失函數最小的參數W。
給損失函數求導，也就是梯度，實際是損失函數變化率最快的方向。
梯度的方向是函數增大方向，負梯度才是下降方向。
步長，也叫學習率。
計算得到梯度之后，使用梯度去更新已有權重參數的過程叫做『梯度下降』。
8、后向傳播
BP(backpropgationalgorithm )：后向傳導算法，顧名思義就是從神經網絡的輸出(頂層)到輸入(底層)進行求解
根據誤差信號修正每層的權重