一、學習心得及問題
心得
趙亮:對於卷積神經網絡的定義有了初步的理解,卷積神經網絡在圖片分類、檢索、分割、檢測,人臉識別等領域有廣泛的應用。使用局部關聯、參數共享的方式解決了全連接網絡過擬合的缺點。同時也了解了卷積的具體含義,對AlexNet、ZFNet、VGG等典型的神經網絡結構有了初步的概念。
何靜:卷積神經網絡(CNN) 屬於人工神經網絡的一種,它的權重共享的網絡結構顯著降低了模型的復雜度,減少了權值的數量。卷積神經網絡可以直接將圖片作為網絡的輸入,自動提取特征,並且對圖片的變形(如平移、比例縮放、傾斜)等具有高度不變形。
何芝霞:積神經網絡是由卷積、池化、全連接組成,卷積神經網絡可以應用在檢測、分割、人臉識別方面,並且人臉識別可以達到一定的精確度。卷積是對兩個實變函數的一種數學操作,池化一般處於卷積層與卷積層之間,全連接層與全連接層之間,通常全連接層在卷積神經網絡尾部,此外我又了解了殘差學習網絡,見到了卷積神經網絡的實操。
黃登偉:卷積神經網絡的基本應用有圖片分類、檢索、檢測、分割、人臉識別、人臉表情識別、圖像生成、自動駕駛。
深度學習三個步驟:首先是搭建神經網絡結構,然后找到一個合適的損失函數,比如交叉熵損失和均方誤差等,最后是找到一個合適的優化函數,更新參數,比如反向傳播(BP)和隨機梯度下降(SGD)等。
傳統神經網絡和卷積神經網絡區別:傳統神經網絡采用全連接網絡處理圖像,參數太多,導致過擬合問題;卷積神經網絡是局部關聯,參數共享。
卷積:卷積是對兩個實變函數的一種數學操作,對於圖像一般是二維卷積。卷積涉及的基本概念有input,filter,weights,感受野,特征圖,padding,channel(深度),輸出。
池化:(pooling)保留了主要特征的同時減少參數和計算量,防止過擬合,提高模型泛化能力,一般處於卷積層之間。常用是最大值池化。
典型結構——AlexNet。使用了relu函數,解決了梯度消失問題,計算速度提高,收斂速度更快;dropout(隨機失活)隨機關閉部分神經元,測試時整合所有神經元,解決了過擬合問題,減少了參數量;數據增強。參數量在全連接層增加。
典型結構——ZFNet。網絡結構同AlexNet,只是改變了感受野大小、步長和濾波器個數。
典型結構——VGG。參數更多,層數更多。
典型結構——GoogleNet。網絡包含22個帶參數的層,參數是AlexNet的1/12,沒有FC層。降低參數量,增加了非線性激活函數。多個inception結構堆疊。沒有額外的全連接層。輔助分類器解決了由於模型深度過深導致的梯度消失的問題。
典型結構——ResNet(殘差學習網絡)。深度有152層。去掉相同的主體部分,從而突出微小的變化。實現為:f(x)+x。
路芸蔓:全連接網絡在處理圖像時存在參數過多導致過擬合的問題,卷積網絡局部關聯,參數共享,具有更高的准確性。卷積網絡的基本應用有:分類;檢索;人臉識別;圖像生成;圖像風格轉化;自動駕駛。深度學習三部曲:搭建神經網絡結構;找到一個合適的損失函數;找到一個合適的優化函數,更新參數。池化是保留主要特征的同時減少參數和計算量,防止過擬合,提高模型泛化能力。
肖大智:
問題:
趙亮:對於典型結構之間的關系和區別還沒有掌握的很清晰
何靜:1. Padding和全連接的作用是什么呀?(看網課聽的迷迷糊糊的)2. 為什么AlexNet沒有VGG應用廣泛呢?
何芝霞:1.池化怎樣提高模型的泛化能力,同時又是怎樣防止過擬合 2.殘差神經網絡和卷積神經網絡的聯系
黃登偉:卷積的參數量怎么算?
路芸蔓:
肖大智:
二、代碼練習
趙亮:https://www.cnblogs.com/OucStars/p/15418175.html
何靜:https://blog.csdn.net/m0_52632116/article/details/120758957?spm=1001.2014.3001.5501
何芝霞:https://www.cnblogs.com/www-hezhixia-com/
黃登偉:https://www.cnblogs.com/haohaoxuexiyibeizi/p/15399733.html
路芸蔓:https://www.cnblogs.com/www-hezhixia-com/articles/15416859.html
肖大智: