卷積神經網絡
圖像識別問題和數據集
> 計算機視覺中有哪些問題？典型問題：經典數據集。
在 2012 年的 ILSVRC 比賽中 Hinton 的學生 Alex Krizhevsky 使用深度卷積神經網絡模型 AlexNet 以顯著的優勢贏得了比賽，top-5 的錯誤率降低至了 16.4% ，相比第二名的成績 26.2% 錯誤率有了巨大的提升。AlexNet 再一次吸引了廣大研究人員對於卷積神經網絡的興趣，激發了卷積神經網絡在研究和工業中更為廣泛的應用。現在基於卷積神經網絡計算機視覺還廣泛的應用於醫學圖像處理，人臉識別，自動駕駛等領域。越來越多的人開始了解卷積神經網絡相關的技術，並且希望學習和掌握相關技術。因為卷積神經網絡需要大量的標記數據集，有一些經典的數據集可以用來學習，同時解決一些常見的計算機視覺問題。
- 卷積神經網絡的具體應用，經典數據集。
比如最常用的 mnist 手寫數字數據集，這個數據集有 60000個訓練樣本，10000個測試樣本；cfair 10 數據集包含 60000 個 32x32 像素 的彩色圖片，它們分別屬於 10 個類別，每一個類別有 6000 個圖片，其中 50000 個作為訓練集，10000個作為測試集。
- 卷積神經網絡在這些應用上取得的成果。
針對 mnist 手寫數字數據集，現在已經達到了 99% 以上的識別率，在稍后的學習中，也會實現一個准確率達到 99% 以上的模型。
卷積神經網絡簡介
> 卷積神經網絡是什么，以及卷積神經網絡將如何解決計算機視覺的相關問題。
圖像數據集的特點，對於神經網絡的設計提出了一些新的挑戰。
維度比較高
因為圖像的維度普遍比較高，例如 MNIST 數據集，每一個圖片是 28 * 28 的圖片。
如果直接用神經網絡，假設采用2個 1000個神經元的隱藏層加 1 個10個神經元的隱藏層，最后使用 softmax 分類層，輸出 10 個數字對應的概率。
參數的數量有：
786 * 1000 * 1000 * 10
如果是更大一點的圖片，網絡的規模還會進一步快速的增長。為了應對這種問題，
Yann LeCun 在貝爾實驗室做研究員的時候提出了卷積網絡技術，並展示如何使用它來大幅度提高手寫識別能力。接下來將介紹卷積和池化以及卷積神經網絡。
卷積介紹
我們嘗試用一個簡單的神經網絡，來探討如何解決這個問題。假設有4個輸入節點和4個隱藏層節點的神經網絡，如圖所示：
圖1 全連接神經網絡
每一個輸入節點都要和隱藏層的 4 個節點連接，每一個連接需要一個權重參數 w：
圖2 一個輸入節點向下一層傳播
一共有 4 個輸入節點，，所以一共需要 4*4=16個參數。
相應的每一個隱藏層節點，都會接收所有輸入層節點：
圖3 每個隱藏層節點接收所有輸入層節點輸入
這是一個簡化版的模型，例如手寫數據集 MNIST 28 * 28 的圖片，輸入節點有 784 個，假如也只要一個隱藏層有 784 個節點，那么參數的個數都會是：784 * 784=614656，很明顯參數的個數隨着輸入維度指數級增長。
因為神經網絡中的參數過多，會造成訓練中的困難，所以降低神經網絡中參數的規模，是圖像處理問題中的一個重要問題。
有兩個思路可以進行嘗試：
1.隱藏層的節點並不需要連接所有輸入層節點，而只需要連接部分輸入層。
如圖所示：
圖4 改為局部連接之后的網絡結構
每個隱藏層節點，只接受兩個輸入層節點的輸入，那么，這個網絡只需要 3 * 2 =6個連接。使用局部連接之后，單個輸出層節點雖然沒有連接到所有的隱藏層節點，但是隱藏層匯總之后所有的輸出節點的值都對網絡有影響。
2.局部連接的權重參數，如果可以共享，那么網絡中參數規模又會明顯的下降。如果把局部連接的權重參數當做是一個特征提取器的話，可以嘗試將這個特征提取器用在其他的地方。
那么這個網絡最后只需要 2 個參數，就可以完成輸入層節點和隱藏層節點的連接。
這兩個思路就是卷積神經網絡中的稀疏交互和權值共享，下一篇文章將會詳細講解卷積神經網絡的原理以及使用 TensorFlow 實現。
工欲善其事必先利其器，如果想在公司或者比賽中，取得好的成績，可以參加《機器學習集訓營》報名即送《機器學習工程師 第八期》、《深度學習第三期》，手把手教你學習和掌握企業級深度學習項目。
課程詳情：http://www.julyedu.com/weekend/train4
北上廣深杭獨家優惠：
