2018-8-10神經網絡優化問題的學習
optimzation
random search
這是一種很壞的方法，這里就不進行介紹。略過。
gradient （偏導組成的向量）
negative gradient is the direction of the deepest descent direction.
梯度方向的反方向就是下降最快的方向。
梯度是一種一階線性逼近。有限差分法用來對梯度進行計算（逼近）。
如上圖所述，將權重中的某一個分量做微小變化，利用損失值的變化量除以分量的變化量就可以得到該分量的偏導值。
但是這樣的缺點是計算量太大，速度會非常慢。
其實只要使用dL/dW=x,也就是把x的數值當做偏導值就可以了。。。。
gradient descent（梯度下降法）
enter description here
這個之前學習過，不多說。
SGD（stochastic gradient descent）
enter description here
這個之間也講過，主要是一個minibatch的思想。此處只是走一走過場。
image feature
在神經網絡大量應用之前，一般都不是直接將圖像的像素傳入線性分類器，而是先提取其特征，之后將之傳入分類器。
提取特征有很多例子；
color histogram（顏色直方圖）
enter description here
如圖所示，顏色直方圖指對一張圖片分別統計其在不同的顏色類（頻譜，光譜）中的像素個數得到的直方圖。
HoG（Histogram of Oriented Gradients）方向梯度直方圖
enter description here
主要提出思想是：認為人眼能夠識別圖像很大一部分來自於邊緣，於是可以對圖像進行分塊（圖中是8 * 8），求出每一小塊的梯度特征（一個像素一個梯度），並將所有的梯度分為9類（也就是圖中的9bins），統計之后得到其梯度直方圖；這樣一個8 * 8的小塊內就會擁有9個數字來表征這個小塊的梯度特征，將所有的數字組成向量就可以得到HOG特征了。
Bag of Words(詞袋)
enter description here
這個靈感來自於NLP，指在NLP中對一個句子運用特征向量進行特征表示，可以是統計每個單詞出現的頻率。而在圖片里，可以對一堆圖片都切成很小的塊，並且對每一塊進行主要顏色的統計，得到圖片的直方圖，直方圖中的每個顏色的數量作為特征向量。