1. 全連接層：主要用於分類，把分布式特征映射到樣本標記空間。全連接層的每一個結點都與上一層的所有結點相連，用來把前邊提取到的特征綜合起來。全連接層中的權值矩陣Wi的每一行相當於一個分類模版，xi與Wi矩陣乘法，即可得到xi與每一個模板的匹配度，從中選取得分最高的匹配模板。
在 CNN 結構中，經多個卷積層和池化層后，連接着1個或1個以上的全連接層。全連接層中的每個神經元與其前一層的所有神經元進行全連接，全連接層可以整合卷積層或者池化層中具有類別區分性的局部信息。為了提升 CNN 網絡性能，全連接層每個神經元的激勵函數一般采用 ReLU 函數。最后一層全連接層的輸出值被傳遞給一個輸出，可以采用 softmax 邏輯回歸（softmax regression）進行分類，該層也可 稱為 softmax 層（softmax layer）。
x1、x2、x3是全連接層的輸入，a1、a2、a3是輸出