caffe中的學習率的衰減機制

根據  caffe/src/caffe/proto/caffe.proto 里面的文件，可以看到它有以下幾種學習率的衰減速機制：

 

1. fixed:   在訓練過程中，學習率不變；

2. step: 它的公式可以表示：，  所以呢，它的學習率的變化就像台價一樣；step by step 的； 其中的 gamma 與 stepsize需要設置的；

 

3.exp ： 表示指數型的；公式為：；其中參數 gamma 需要設置；

 

4. inv : 它表示什么意思不知道啊； 公式為：，其中參數 gamma 與 power 都需要設置；

 

5.multistep: 它可以設置多個 stepvalue的值, 在prototxt里面也沒有具體介紹， 它由參數 stepsize 與 stepvalue 決定； 它不是每時第刻都去計算 學習率，而是達到我們設定的stepvalue的時候，才去計算（根據方法2中的公式），然后更新學習率； stepvalue 可以設置多個的，下面是 stepvalue的定義；

183   repeated int32 stepvalue = 34;

 

6、 poly : 多項式衰減： 它的公式為：  ，當到達最大次數時， 學習率變為了0；

 

7.sigmoid形的：。我覺得這個公式不對吧， 減去stepsize是什么意思啊；反正我不用它，所以也不研究它了吧；