caffe之(四)全連接層

在caffe中，網絡的結構由prototxt文件中給出，由一些列的Layer（層）組成，常用的層如：數據加載層、卷積操作層、pooling層、非線性變換層、內積運算層、歸一化層、損失計算層等；本篇主要介紹全連接層

該層是對元素進行wise to wise的運算

1. 全連接層總述

下面首先給出全連接層的結構設置的一個小例子（定義在.prototxt文件中） 

layer {
  name: "fc6"
  type: "InnerProduct"
  bottom: "pool5"
  top: "fc6"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}

 

2. 全連接層相關參數 

接下來，分別對全連接層的相關參數進行說明

（根據全連接層層的定義，它的學習參數應該為權值和bias，其他的相關參數都為hyper-paramers，在定義模型時是要給出的）

注：全鏈接層其實也是一種卷積層，只不過卷積核大小與輸入圖像大小一致

lr_mult：學習率系數

放置在param{}中

該系數用來控制學習率，在進行訓練過程中，該層參數以該系數乘solver.prototxt配置文件中的base_lr的值為學習率

即學習率=lr_mult*base_lr

如果該層在結構配置文件中有兩個lr_mult，則第一個表示權值學習率系數，第二個表示偏執項的學習率系數（一般情況下，偏執項的學習率系數是權值學習率系數的兩倍）

inner_product_param：內積層的其他參數

放置在inner_product_param{}中

該部分對內積層的其他參數進行設置，有些參數為必須設置，有些參數為可選（因為可以直接使用默認值）

• 必須設置的參數

1. num_output：filter個數

• 其他可選的設置參數

1. weight_filter：權值初始化方法，使用方法如下
   weight_filter{
         type:"xavier"  //這里的xavier是一沖初始化算法，也可以是“gaussian”；默認值為“constant”，即全部為0
   }

2. bias_filter：偏執項初始化方法
   bias_filter{
         type:"xavier"  //這里的xavier是一沖初始化算法，也可以是“gaussian”；默認值為“constant”，即全部為0
   }
3. bias_term：是否使用偏執項，默認值為Ture

 參考：caffe tutorial