經過前面一系列的學習,我們基本上學會了如何在linux下運行caffe程序,也學會了如何用python接口進行數據及參數的可視化。
如果還沒有學會的,請自行細細閱讀: caffe學習系列:http://www.cnblogs.com/denny402/tag/caffe/
也許有人會覺得比較復雜。確實,對於一個使用慣了windows視窗操作的用戶來說,各種命令就要了人命,甚至會非常抵觸命令操作。沒有學過python,要自己去用python編程實現可視化,也是非常頭痛的事情。幸好現在有了nvidia digits這款工具,這些問題都可以解決了。
nvidia為了賣出更多的顯卡,對深度學習的偏愛真是亮瞎了狗眼。除了cudnn, 又出了digits,真是希望小學生也能學會深度學習,然后去買他們的卡。
nvidia digits是一款web應用工具,在網頁上對caffe進行圖形化操作和可視化,用於caffe初學者來說,幫助非常大。
不過有點遺憾的是,據nvidia官方文檔稱,digits最佳支持系統是ubuntu 14.04,其它的系統效果如何,就不得而知了。
一、安裝digits 3.0
digits是運行在cuda和caffe基礎上的,所以要先配置好cuda+caffe那是毫無疑問的了。還不會配置的,請參考:Caffe學習系列(1):安裝配置ubuntu14.04+cuda7.5+caffe+cudnn
打開一個終端,依次運行下列命令:
cd
sudo -s
進入當前用戶根目錄,並切換到超級用戶(符號由$變成#,不用每句都輸sudo)
CUDA_REPO_PKG=cuda-repo-ubuntu1404_7.5-18_amd64.deb && wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/$CUDA_REPO_PKG && sudo dpkg -i $CUDA_REPO_PKG
接着,
ML_REPO_PKG=nvidia-machine-learning-repo_4.0-2_amd64.deb && wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64/$ML_REPO_PKG && sudo dpkg -i $ML_REPO_PKG
apt-get update
apt-get install digits
ok,保持網絡通暢,慢慢安裝吧!
二、運行digits
默認情況下,digits的安裝目錄為 /usr/share/digits
安裝完成后,打開瀏覽器,地址欄輸入 http://localhost/ 就可以了,就是這么簡單。
更強悍的是:在局域內的其它機子上,也可以用瀏覽器訪問,只是localhost變成了主機 ip地址。很多人喜歡在windows系統上遠程連接linux來執行caffe。現在好了,不需要遠程連接了,只需要訪問一個網站就可以了。。。還有誰!!!!
三、運行mnist實例
現在來運行一個實例:mnist(名符其實的helloworld)
原始數據需要的是圖片,但網上提供的mnist數據並不是圖片格式的數據,因此我們需要將它轉換成圖片才能運行。
digits提供了一個腳本文件,用於下載mnist, cifar10 和cifar100 三類數據,並轉換成png格式圖片。文件路徑為:
/usr/share/digits/tools/download_data/main.py
我們先在當前用戶的根目錄下,新建一個mnist文件夾用來保存mnist圖片。
# cd # mkdir mnist
然后執行腳本
# /usr/share/digits/tools/download_data/main.py mnist ~/mnist
main.py帶兩個參數,第一個為數據集名稱(可設置為mnist, cifar10或cifar100),第二個為輸出路徑(~/mnist)
執行成功后,會在mnist文件夾下,生成兩個文件夾(train文件夾和test文件夾),每個文件夾下面就是我們需要的圖片(10類分別放在10個子文件夾內),同時還生成了對應在圖片列表文件train.txt和test.txt
接下來,在瀏覽器上運行digits, 點擊左邊Dataset模塊的"Image"按鈕選擇“classification", 創建一個dataset
在這個頁面的左邊,可以設置圖片是彩色圖片還是灰度圖片,如果提供的原始圖片大小不一致,還可用Resize Transformation功能轉換成一致大小 。從頁面中間可以看出,系統默認將訓練圖片中的25%取出來作為驗證集(for validation)。
如果想把用來測試的圖片,也生成lmdb, 則把“ separate test image folder" 這個選項選上。
全部設置好后,點擊"create" 按鈕,開始生成lmdb數據。
注意左上角的Job Directory(工作目錄),生成的lmdb文件就放在這個目錄下面,大家最好打開這個目錄去看看,看一下生成了些什么文件,了解一下運行原理。
在這個界面,我們還可以可視化查看訓練和測試的圖片,如下圖:
train.txt里面存放的是所有訓練圖片的列表清單,柱狀圖清晰地顯示了10類樣本各自的數量。點擊" Explorer the db” 即可查看圖片。
最后,點擊最左上角“ DIGITS" 鏈接回到網站根目錄。
由於圖片太多,因此本文很長,所以在此截斷一下,后續。。