DeepLearning學習（1）--多層感知機

想直接學習卷積神經網絡，結果發現因為神經網絡的基礎較弱，學習起來比較困難，所以准備一步步學。並記錄下來，其中會有很多摘抄。

（一）什么是多層感知器和反向傳播

　　1，單個神經元

　神經網絡的基本單元就是神經元，一個神經元就是處理輸入並輸出的小玩意，下面是一個圖

 

，

可以看到每一個輸入都有自己的權重，權重和輸入的值相乘，然后加上一個偏置b之后在經過一個函數f得到輸出y，這個f就是 激活函數，激活函數的作用是將非線性引入神經元的輸出。因為大多數現實世界的數據都是非線性的，我們希望神經元能夠學習非線性的函數表示，所以這種應用至關重要。

 

常用的激活函數：

     1：Sigmoid（S 型激活函數）：輸入一個實值，輸出一個 0 至 1 間的值

　　

Sigmoid函數由下列公式定義

Sigmoid 曲線

2：tanh（雙曲正切函數）：輸入一個實值，輸出一個 [-1,1] 間的值

 

3：ReLU：ReLU 代表修正線性單元。輸出一個實值，並設定 0 的閾值（函數會將負值變為零）f(x) = max(0, x)。

偏置的重要性：偏置的主要功能是為每一個節點提供可訓練的常量值（在節點接收的正常輸入以外）。神經元中偏置的作用，詳見這個鏈接：http://stackoverflow.com/q/2480650/3297280

2，前饋神經網絡

前饋神經網絡是最先發明也是最簡單的人工神經網絡 [3]。它包含了安排在多個層中的多個神經元（節點）。相鄰層的節點有連接或者邊（edge）。所有的連接都配有權重

一個前饋神經網絡的例子

一個前饋神經網絡可以包含三種節點：

1. 輸入節點（Input Nodes）：輸入節點從外部世界提供信息，總稱為「輸入層」。在輸入節點中，不進行任何的計算——僅向隱藏節點傳遞信息。

2. 隱藏節點（Hidden Nodes）：隱藏節點和外部世界沒有直接聯系（由此得名）。這些節點進行計算，並將信息從輸入節點傳遞到輸出節點。隱藏節點總稱為「隱藏層」。盡管一個前饋神經網絡只有一個輸入層和一個輸出層，但網絡里可以沒有也可以有多個隱藏層。

3. 輸出節點（Output Nodes）：輸出節點總稱為「輸出層」，負責計算，並從網絡向外部世界傳遞信息。

在前饋網絡中，信息只單向移動——從輸入層開始前向移動，然后通過隱藏層（如果有的話），再到輸出層。在網絡中沒有循環或回路 [3]（前饋神經網絡的這個屬性和遞歸神經網絡不同，后者的節點連接構成循環）。

多層感知機就是前饋神經網絡的一個例子（至少含有一個隱藏層）

多層感知器（Multi Layer Perceptron，即 MLP）包括至少一個隱藏層（除了一個輸入層和一個輸出層以外）。單層感知器只能學習線性函數，而多層感知器也可以學習非線性函數。

 

圖 4：有一個隱藏層的多層感知器

 

圖 4 表示了含有一個隱藏層的多層感知器。注意，所有的連接都有權重，但在圖中只標記了三個權重（w0,，w1，w2）。

輸入層：輸入層有三個節點。偏置節點值為 1。其他兩個節點從 X1 和 X2 取外部輸入（皆為根據輸入數據集取的數字值）。和上文討論的一樣，在輸入層不進行任何計算，所以輸入層節點的輸出是 1、X1 和 X2 三個值被傳入隱藏層。

隱藏層：隱藏層也有三個節點，偏置節點輸出為 1。隱藏層其他兩個節點的輸出取決於輸入層的輸出（1，X1，X2）以及連接（邊界）所附的權重。圖 4 顯示了隱藏層（高亮）中一個輸出的計算。其他隱藏節點的輸出計算同理。需留意 *f *指代激活函數。這些輸出被傳入輸出層的節點。

輸出層：輸出層有兩個節點，從隱藏層接收輸入，並執行類似高亮出的隱藏層的計算。這些作為計算結果的計算值（Y1 和 Y2）就是多層感知器的輸出。

給出一系列特征 X = (x1, x2, ...) 和目標 Y，一個多層感知器可以以分類或者回歸為目的，學習到特征和目標之間的關系。

訓練我們的多層感知器：反向傳播算法常縮寫為「BackProp」，是幾種訓練人工神經網絡的方法之一。這是一種監督學習方法，即通過標記的訓練數據來學習（有監督者來引導學習）。

簡單說來，BackProp 就像「從錯誤中學習」。監督者在人工神經網絡犯錯誤時進行糾正。一個人工神經網絡包含多層的節點；輸入層，中間隱藏層和輸出層。相鄰層節點的連接都有配有「權重」。學習的目的是為這些邊緣分配正確的權重。通過輸入向量，這些權重可以決定輸出向量。在監督學習中，訓練集是已標注的。這意味着對於一些給定的輸入，我們知道期望 / 期待的輸出（標注）。

反向傳播算法

：

最初，所有的邊權重（edge weight）都是隨機分配的。對於所有訓練數據集中的輸入，人工神經網絡都被激活，並且觀察其輸出。這些輸出會和我們已知的、期望的輸出進行比較，誤差會「傳播」回上一層。該誤差會被標注，權重也會被相應的「調整」。該流程重復，直到輸出誤差低於制定的標准。

上述算法結束后，我們就得到了一個學習過的人工神經網絡，該網絡被認為是可以接受「新」輸入的。該人工神經網絡可以說從幾個樣本（標注數據）和其錯誤（誤差傳播）中得到了學習。

 在分類任務中，我們通常在感知器的輸出層中使用 Softmax 函數作為激活函數，以保證輸出的是概率並且相加等於 1。Softmax 函數接收一個隨機實值的分數向量，轉化成多個介於 0 和 1 之間、並且總和為 1 的多個向量值。

第一步前向傳播，利用訓練集中的一個樣本的輸入特征，作為輸入層，然后經過前向傳播，得到輸出值。

第二步利用輸出值和樣本值計算總誤差再利用反向傳播來更新權重。

反向傳播的數學推到參考鏈接http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html。今天先到這。。。