卷積神經網絡


 一、學習心得及問題

心得

趙亮:對於卷積神經網絡的定義有了初步的理解,卷積神經網絡在圖片分類、檢索、分割、檢測,人臉識別等領域有廣泛的應用。使用局部關聯、參數共享的方式解決了全連接網絡過擬合的缺點。同時也了解了卷積的具體含義,對AlexNet、ZFNet、VGG等典型的神經網絡結構有了初步的概念。

何靜:卷積神經網絡(CNN) 屬於人工神經網絡的一種,它的權重共享的網絡結構顯著降低了模型的復雜度,減少了權值的數量。卷積神經網絡可以直接將圖片作為網絡的輸入,自動提取特征,並且對圖片的變形(如平移、比例縮放、傾斜)等具有高度不變形。

何芝霞:積神經網絡是由卷積、池化、全連接組成,卷積神經網絡可以應用在檢測、分割、人臉識別方面,並且人臉識別可以達到一定的精確度。卷積是對兩個實變函數的一種數學操作,池化一般處於卷積層與卷積層之間,全連接層與全連接層之間,通常全連接層在卷積神經網絡尾部,此外我又了解了殘差學習網絡,見到了卷積神經網絡的實操。

黃登偉:卷積神經網絡的基本應用有圖片分類、檢索、檢測、分割、人臉識別、人臉表情識別、圖像生成、自動駕駛。

       深度學習三個步驟:首先是搭建神經網絡結構,然后找到一個合適的損失函數,比如交叉熵損失和均方誤差等,最后是找到一個合適的優化函數,更新參數,比如反向傳播(BP)和隨機梯度下降(SGD)等。

       傳統神經網絡和卷積神經網絡區別:傳統神經網絡采用全連接網絡處理圖像,參數太多,導致過擬合問題;卷積神經網絡是局部關聯,參數共享。

       卷積:卷積是對兩個實變函數的一種數學操作,對於圖像一般是二維卷積。卷積涉及的基本概念有input,filter,weights,感受野,特征圖,padding,channel(深度),輸出。

       池化:(pooling)保留了主要特征的同時減少參數和計算量,防止過擬合,提高模型泛化能力,一般處於卷積層之間。常用是最大值池化。

       典型結構——AlexNet。使用了relu函數,解決了梯度消失問題,計算速度提高,收斂速度更快;dropout(隨機失活)隨機關閉部分神經元,測試時整合所有神經元,解決了過擬合問題,減少了參數量;數據增強。參數量在全連接層增加。

       典型結構——ZFNet。網絡結構同AlexNet,只是改變了感受野大小、步長和濾波器個數。

       典型結構——VGG。參數更多,層數更多。

典型結構——GoogleNet。網絡包含22個帶參數的層,參數是AlexNet的1/12,沒有FC層。降低參數量,增加了非線性激活函數。多個inception結構堆疊。沒有額外的全連接層。輔助分類器解決了由於模型深度過深導致的梯度消失的問題。

典型結構——ResNet(殘差學習網絡)。深度有152層。去掉相同的主體部分,從而突出微小的變化。實現為:f(x)+x。

路芸蔓:全連接網絡在處理圖像時存在參數過多導致過擬合的問題,卷積網絡局部關聯,參數共享,具有更高的准確性。卷積網絡的基本應用有:分類;檢索;人臉識別;圖像生成;圖像風格轉化;自動駕駛。深度學習三部曲:搭建神經網絡結構;找到一個合適的損失函數;找到一個合適的優化函數,更新參數。池化是保留主要特征的同時減少參數和計算量,防止過擬合,提高模型泛化能力。

肖大智:

問題

趙亮:對於典型結構之間的關系和區別還沒有掌握的很清晰

何靜:1. Padding和全連接的作用是什么呀?(看網課聽的迷迷糊糊的)2. 為什么AlexNet沒有VGG應用廣泛呢?

何芝霞:1.池化怎樣提高模型的泛化能力,同時又是怎樣防止過擬合 2.殘差神經網絡和卷積神經網絡的聯系

黃登偉:卷積的參數量怎么算?

路芸蔓:

肖大智:

二、代碼練習

趙亮:https://www.cnblogs.com/OucStars/p/15418175.html

何靜:https://blog.csdn.net/m0_52632116/article/details/120758957?spm=1001.2014.3001.5501

何芝霞:https://www.cnblogs.com/www-hezhixia-com/

黃登偉:https://www.cnblogs.com/haohaoxuexiyibeizi/p/15399733.html

路芸蔓:https://www.cnblogs.com/www-hezhixia-com/articles/15416859.html

肖大智:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM