深度學習基礎——感知機

轉載自：原文地址
神經網絡如下圖所示：

上圖中每個圓圈都是一個神經元，每條線表示神經元之間的連接。我們可以看到，上面的神經元被分成了多層，層與層之間的神經元有連接，而層內之間的神經元沒有連接。最左邊的層叫做輸入層，這層負責接收輸入數據；最右邊的層叫輸出層，我們可以從這層獲取神經網絡輸出數據。輸入層和輸出層之間的層叫做隱藏層。

感知器——神經網絡的組成單元

一個感知器有如下組成部分：

舉例：用感知器實現and函數

我們設計一個感知器，讓它來實現and運算。程序員都知道，and是一個二元函數（帶有兩個參數x₁和x₂），下面是它的真值表：

為了計算方便，我們用0表示false，用1表示true。
我們令w₁=0.5,w₂=0.5,b=-0.8,而激活函數就是前面寫出來的階躍函數，這時，感知器就相當於and函數。
輸入真值表第一行，即x₁=x₂=0，則輸出為：

即當x₁=x₂=0時，y=0，這是真值表的第一行。

舉例2：用感知器實現or函數

同樣，我們也可以用感知器來實現or運算。僅僅需要把偏置項的值設置為-0.3就可以了。我們驗算一下，下面是or運算的真值表：

我們來驗算第二行，這時的輸入是x₁=0，x₂=1，帶入公式(1)：

也就是當時x₁=0，x₂=1為1，即or真值表第二行。

感知器的其他功能

事實上，感知器不僅僅能實現簡單的布爾運算。它可以擬合任何的線性函數，任何線性分類或線性回歸問題都可以用感知器來解決。前面的布爾運算可以看作是二分類問題，即給定一個輸入，輸出0（屬於分類0）或1（屬於分類1）。如下面所示，and運算是一個線性分類問題，即可以用一條直線把分類0（false，紅叉表示）和分類1（true，綠點表示）分開。

然而，感知器卻不能實現異或運算，如下圖所示，異或運算不是線性的，你無法用一條直線把分類0和分類1分開。

感知器訓練

感知器訓練算法：將權重項和偏置項初始化為0，然后，利用下面的感知器規則迭代的修改w_i和b，直到訓練完成。

其中

w_i是與輸入x_i對應的權重項，b是偏置項。事實上，可以把b看作是值永遠為1的輸入x_b所對應的權重。t是訓練樣本的實際值，一般稱之為label。而y是感知器的輸出值，它是根據公式(1)計算得出。\(\eta\)是一個稱為學習速率的常數，其作用是控制每一步調整權的幅度。
每次從訓練數據中取出一個樣本的輸入向量x，使用感知器計算其輸出y，再根據上面的規則來調整權重。每處理一個樣本就調整一次權重。經過多輪迭代后（即全部的訓練數據被反復處理多輪），就可以訓練出感知器的權重，使之實現目標函數。

編程實戰：實現感知器

完整代碼請參考GitHub:代碼

下面是感知器類的實現，非常簡單。只用到了基本的python（省去您去學習numpy的時間）。

class Perceptron(object):
    def __init__(self, input_num, activator):
        '''
        初始化感知器，設置輸入參數的個數，以及激活函數。
        激活函數的類型為double -> double
        '''
        self.activator = activator
        # 權重向量初始化為0
        self.weights = [0.0 for _ in range(input_num)]
        # 偏置項初始化為0
        self.bias = 0.0
    def __str__(self):
        '''
        打印學習到的權重、偏置項
        '''
        return 'weights\t:%s\nbias\t:%f\n' % (self.weights, self.bias)
    def predict(self, input_vec):
        '''
        輸入向量，輸出感知器的計算結果
        '''
        # 把input_vec[x1,x2,x3...]和weights[w1,w2,w3,...]打包在一起
        # 變成[(x1,w1),(x2,w2),(x3,w3),...]
        # 然后利用map函數計算[x1*w1, x2*w2, x3*w3]
        # 最后利用reduce求和
        return self.activator(
            reduce(lambda a, b: a + b,
                   map(lambda (x, w): x * w,  
                       zip(input_vec, self.weights))
                , 0.0) + self.bias)
    def train(self, input_vecs, labels, iteration, rate):
        '''
        輸入訓練數據：一組向量、與每個向量對應的label；以及訓練輪數、學習率
        '''
        for i in range(iteration):
            self._one_iteration(input_vecs, labels, rate)
    def _one_iteration(self, input_vecs, labels, rate):
        '''
        一次迭代，把所有的訓練數據過一遍
        '''
        # 把輸入和輸出打包在一起，成為樣本的列表[(input_vec, label), ...]
        # 而每個訓練樣本是(input_vec, label)
        samples = zip(input_vecs, labels)
        # 對每個樣本，按照感知器規則更新權重
        for (input_vec, label) in samples:
            # 計算感知器在當前權重下的輸出
            output = self.predict(input_vec)
            # 更新權重
            self._update_weights(input_vec, output, label, rate)
    def _update_weights(self, input_vec, output, label, rate):
        '''
        按照感知器規則更新權重
        '''
        # 把input_vec[x1,x2,x3,...]和weights[w1,w2,w3,...]打包在一起
        # 變成[(x1,w1),(x2,w2),(x3,w3),...]
        # 然后利用感知器規則更新權重
        delta = label - output
        self.weights = map(
            lambda (x, w): w + rate * delta * x,
            zip(input_vec, self.weights))
        # 更新bias
        self.bias += rate * delta

將上述程序保存為perceptron.py文件，通過命令行執行這個程序，其運行結果為：

神奇吧！感知器竟然完全實現了and函數。讀者可以嘗試一下利用感知器實現其它函數。

多層感知機

因為單層感知機無法解決非線性可分問題——異或問題，所以引出“多層”的概念：使用多層感知機處理。下圖就是一個兩層感知機解決異或問題的示意圖：

構建好上述網絡以后，通過訓練得到最后的分類面如下：

由此可見，多層感知機可以很好的解決非線性可分問題，我們通常將多層感知機這樣的多層結構稱之為是神經網絡。