轉【面向代碼】學習 Deep Learning（二）Deep Belief Nets(DBNs)

【面向代碼】學習 Deep Learning（二）Deep Belief Nets(DBNs)

http://blog.csdn.net/dark_scope/article/details/9447967

分類： 機器學習2013-07-24 11:50 517人閱讀 評論(5) 收藏 舉報

目錄(?)[-]

1. DBNdbnsetupm
2. DBNdbntrainm
   1. DBNrbmtrainm
3. DBNdbnunfoldtonnm
4. 總結

==========================================================================================

最近一直在看Deep Learning，各類博客、論文看得不少

但是說實話，這樣做有些疏於實現，一來呢自己的電腦也不是很好，二來呢我目前也沒能力自己去寫一個toolbox

只是跟着Andrew Ng的UFLDL tutorial 寫了些已有框架的代碼(這部分的代碼見github)

后來發現了一個matlab的Deep Learning的toolbox，發現其代碼很簡單，感覺比較適合用來學習算法

再一個就是matlab的實現可以省略掉很多數據結構的代碼，使算法思路非常清晰

所以我想在解讀這個toolbox的代碼的同時來鞏固自己學到的，同時也為下一步的實踐打好基礎

(本文只是從代碼的角度解讀算法，具體的算法理論步驟還是需要去看paper的

我會在文中給出一些相關的paper的名字，本文旨在梳理一下算法過程，不會深究算法原理和公式)

==========================================================================================

使用的代碼：DeepLearnToolbox  ，下載地址：點擊打開，感謝該toolbox的作者

==========================================================================================

今天介紹DBN的內容，其中關鍵部分都是(Restricted Boltzmann Machines, RBM)的步驟，所以先放一張rbm的結構，幫助理解

(圖來自baidu的一個講解ppt)

==========================================================================================

照例，我們首先來看一個完整的DBN的例子程序：

這是\tests\test_example_DBN.m 中的ex2

[cpp] view plaincopy

1. //train dbn
2. dbn.sizes = [100 100];  
3. opts.numepochs =   1;  
4. opts.batchsize = 100;  
5. opts.momentum  =   0;  
6. opts.alpha     =   1;  
7. dbn =dbnsetup(dbn, train_x, opts);                //here！！！
8. dbn = dbntrain(dbn, train_x, opts);                //here！！！
10. //unfold dbn to nn
11. nn = dbnunfoldtonn(dbn, 10);                       //here！！！
12. nn.activation_function = 'sigm';  
14. //train nn
15. opts.numepochs =  1;  
16. opts.batchsize = 100;  
17. nn = nntrain(nn, train_x, train_y, opts);  
18. [er, bad] = nntest(nn, test_x, test_y);  
19. assert(er < 0.10, 'Too big error'); 

其中的過程簡單清晰明了，就是dbnsetup(),dbntrain()以及dbnunfoldtonn()三個函數

最后fine tuning的時候用了（一）里看過的nntrain和nntest，參見（一）

\DBN\dbnsetup.m

     這個實在沒什么好說的，

     直接分層初始化每一層的rbm(受限波爾茲曼機(Restricted Boltzmann Machines, RBM))
     同樣，W,b,c是參數，vW,vb,vc是更新時用到的與momentum的變量，見到代碼時再說

[cpp] view plaincopy

1. for u = 1 : numel(dbn.sizes) - 1  
2.     dbn.rbm{u}.alpha    = opts.alpha;  
3.     dbn.rbm{u}.momentum = opts.momentum;  
5.     dbn.rbm{u}.W  = zeros(dbn.sizes(u + 1), dbn.sizes(u));  
6.     dbn.rbm{u}.vW = zeros(dbn.sizes(u + 1), dbn.sizes(u));  
8.     dbn.rbm{u}.b  = zeros(dbn.sizes(u), 1);  
9.     dbn.rbm{u}.vb = zeros(dbn.sizes(u), 1);  
11.     dbn.rbm{u}.c  = zeros(dbn.sizes(u + 1), 1);  
12.     dbn.rbm{u}.vc = zeros(dbn.sizes(u + 1), 1);  
13. end 

\DBN\dbntrain.m

     應為DBN基本就是把rbm當做磚塊搭建起來的，所以train也很簡單

[cpp] view plaincopy

1. function dbn = dbntrain(dbn, x, opts)  
2.     n = numel(dbn.rbm);  
3. //對每一層的rbm進行訓練
4.     dbn.rbm{1} = rbmtrain(dbn.rbm{1}, x, opts);  
5. for i = 2 : n  
6.         x = rbmup(dbn.rbm{i - 1}, x);  
7.         dbn.rbm{i} = rbmtrain(dbn.rbm{i}, x, opts);   
8.     end  
9. end 

  首先映入眼簾的是對第一層進行rbmtrain()，后面每一層在train之前用了rbmup，

  rbmup其實就是簡單的一句sigm(repmat(rbm.c', size(x, 1), 1) + x * rbm.W');

  也就是上面那張圖從v到h計算一次，公式是Wx+c

   接下來是最關鍵的rbmtrain了：

\DBN\rbmtrain.m

        代碼如下，說明都在注釋里

         論文參考：【1】Learning Deep Architectures for AI   以及   

                          【2】A Practical Guide to Training Restricted Boltzmann Machines

         你可以和【1】里面的這段偽代碼對應一下

[cpp] view plaincopy

1. for i = 1 : opts.numepochs //迭代次數
2.      kk = randperm(m);  
3.      err = 0;  
4. for l = 1 : numbatches  
5.          batch = x(kk((l - 1) * opts.batchsize + 1 : l * opts.batchsize), :);  
7.          v1 = batch;  
8.          h1 = sigmrnd(repmat(rbm.c', opts.batchsize, 1) + v1 * rbm.W');            //gibbs sampling的過程
9.          v2 = sigmrnd(repmat(rbm.b', opts.batchsize, 1) + h1 * rbm.W);  
10.          h2 = sigmrnd(repmat(rbm.c', opts.batchsize, 1) + v2 * rbm.W');  
11. //Contrastive Divergence 的過程 
12. //這和《Learning Deep Architectures for AI》里面寫cd-1的那段pseudo code是一樣的
13.          c1 = h1' * v1;  
14.          c2 = h2' * v2;  
15. //關於momentum，請參看Hinton的《A Practical Guide to Training Restricted Boltzmann Machines》
16. //它的作用是記錄下以前的更新方向，並與現在的方向結合下，跟有可能加快學習的速度
17.          rbm.vW = rbm.momentum * rbm.vW + rbm.alpha * (c1 - c2)     / opts.batchsize;      
18.          rbm.vb = rbm.momentum * rbm.vb + rbm.alpha * sum(v1 - v2)' / opts.batchsize;  
19.          rbm.vc = rbm.momentum * rbm.vc + rbm.alpha * sum(h1 - h2)' / opts.batchsize;  
20. //更新值
21.          rbm.W = rbm.W + rbm.vW;  
22.          rbm.b = rbm.b + rbm.vb;  
23.          rbm.c = rbm.c + rbm.vc;  
25.          err = err + sum(sum((v1 - v2) .^ 2)) / opts.batchsize;  
26.      end  
27. end 

\DBN\dbnunfoldtonn.m

      DBN的每一層訓練完成后自然還要把參數傳遞給一個大的NN，這就是這個函數的作用

[cpp] view plaincopy

1. function nn = dbnunfoldtonn(dbn, outputsize)  
2. %DBNUNFOLDTONN Unfolds a DBN to a NN  
3. %   outputsize是你的目標輸出label，比如在MINST就是10，DBN只負責學習feature  
4. %   或者說初始化Weight，是一個unsupervised learning，最后的supervised還得靠NN  
5. if(exist('outputsize','var'))  
6.         size = [dbn.sizes outputsize];  
7. else
8.         size = [dbn.sizes];  
9.     end  
10.     nn = nnsetup(size);  
11.     %把每一層展開后的Weight拿去初始化NN的Weight  
12.     %注意dbn.rbm{i}.c拿去初始化了bias項的值  
13. for i = 1 : numel(dbn.rbm)  
14.         nn.W{i} = [dbn.rbm{i}.c dbn.rbm{i}.W];  
15.     end  
16. end 

最后fine tuning就再訓練一下NN就可以了

總結

      還是那句話，本文只是梳理一下學習路線，具體的東西還是要靠paper

      dbn主要的關鍵就是rbm，推薦幾篇經典的文章吧，rbm可是Hinton的寶貝啊

      其中涉及到MCMC，Contrastive divergence，感覺比Autoencoder難理解多了

          [1] An Introduction to Restricted Boltzmann Machines

          [2] Learning Deep Architectures for AI                                                     Bengio大作啊

          [3] A Practical Guide to Training Restricted Boltzmann Machines              上面提到過，比較細致

          [4] A learning Algorithm for Boltzmann Machines                                      Hinton的

分享到：

上一篇：【面向代碼】學習 Deep Learning（一）Neural Network

下一篇：【面向代碼】學習 Deep Learning（三）Convolution Neural Network(CNN)

頂

0

踩

0

查看評論

2樓 _嘔啞嘲哳 2013-07-28 12:35發表 [回復]

1. 圖模型上的區別就是有向與無向 具體在算法上是如何體現的呢
2. 這樣DBN就只是實現了用來初始化 后面的fine tuning和分類實現還是必須由NN/BP來實現

Re: Dark_Scope 2013-07-28 12:54發表 [回復]

回復Dan7291125：1.其實我也不是很了解，我目前只看了DBN，你可以看看這個，may help：http://www.sigvc.org/bbs/thread-524-1-1.html
2.是的，SAE其實也是這樣的

Re: _嘔啞嘲哳 2013-07-29 09:24發表 [回復]

回復Dark_Scope：Thanks~

1樓 _嘔啞嘲哳 2013-07-28 10:44發表 [回復]

請問一下兩個問題：
1. DBN中每層rbm是單獨訓練疊加的 DBM中每層rbm不是獨立的，這是DBN和DBM的區別所在么？
2. DBN中的每層rbm單獨訓練，得到的參數用來直接初始化NN的參數 和 用RBM逐層非監督建立結構 再用NN進行監督調整其實是一個意思吧？

Re: Dark_Scope 2013-07-28 12:04發表 [回復]

回復Dan7291125：1.yeah，圖模型不一樣
2.初始化之后還要訓練NN來調整，叫做fine tuning，之前做的只是初始化參數值而已