前言
最近在學深度學習HyperLPR項目時,由於一直沒有比較合適的設備訓練深度學習的模型,所以在網上想找到提供模型訓練,經過一段時間的搜索,最終發現了一個谷歌的產品--Google Colaboratory。它幾乎可以實現零成本玩轉深度學習,達到快速訓練模型的目的。
Google Colaboratory是谷歌開放的一款深度學習的研究工具,主要用於深度學習的開發和研究。這款工具現在是可以免費使用,但是暫時還是無法確定是不是永久免費。Google Colab最大的好處是給廣大的AI開發者提供了免費的GPU和TPU使用!GPU型號是Tesla K80!你可以在上面輕松地跑例如:Keras、Tensorflow、Pytorch等框架。
Google Colab基本操作
網站:Google Colab
進入Google Colab網站-》新建項目
創建完項目之后我們就可以進入Colab的主界面了。
現在,我們就可以在代碼框中輸入一些代碼。這里注意,如果我們直接輸入代碼,系統會當作是Python代碼執行。例如我們輸入:
運行之后輸出框中會打印出"1"。
如果想去執行系統命令,只需要在命令前加感嘆號!
。例如我們輸入:
運行結果如下:
執行之后輸出框中會顯示當前目錄下的所有文件夾。這是不是很像Linux下的命令行操作?
其實在Google Colab中連接的雲端的那台虛擬機正是使用的Ubuntu操作系統,我們可以將自己在Google Colab中的一切操作看作是在用命令行控制雲端的那台Ubuntu虛擬機。你可以用它來直接跑代碼,也可以使用一些系統命令(我們后面要安裝第三方軟件都需要借助一系列的系統命令)。
前期配置
1. 修改筆記本環境
每新建一個Colab項目,都需要先對筆記本環境進行配置,運行類型選擇是Python2還是Python3,硬件類型選擇CPU、GPU或者TPU。(其中Python2是2.7版本,Python3是3.6版本)
修改完后點擊保存即可。
2. 安裝必要的包和軟件
在代碼段中輸入以下代碼:
運行代碼,運行中會提示輸入驗證碼,點擊程序給出的網址進行驗證即可。
3. 掛載Google Drive
其實完成前面的操作我們就可以在Google Colab中敲寫代碼或者輸入一些系統命令了,但是我們現在連接的虛擬機是和Google Drive脫離的,也就是說我們跑的程序無法使用谷歌雲盤里的文件,這就非常受限制了。所以我們一般需要將谷歌雲盤看作是虛擬機中的一個硬盤掛載,這樣我們就可以使用虛擬機輕松訪問谷歌雲盤。
掛載Google Drive代碼:
運行掛載Google Drive代碼會出現應認證的鏈接
點擊鏈接獲得應用認證碼
將應用認證碼復制輸入到下面的文本框中,點擊回車鍵即可
加載成功之后在左邊的文件中多了一個dirve文件夾
掛載完后在虛擬機中會多出一個文件夾"drive",我們可以用
命令查看。
更改工作目錄
在Colab中cd
命令是無效的,切換工作目錄使用chdir
函數。
執行以上代碼,當前工作目錄會進入到drive文件夾下。我們再使用!ls
命令會發現系統輸出的是drive文件夾下的目錄。
回到上級目錄:
運行自己的代碼
好了,各種准備工作都做好了,我們如何在Colab上直接運行自己寫好的代碼呢?其實很簡單,就跟在自己電腦上一樣,使用命令
就可以了!詳細步驟如下:
1. 將.py文件和其它必要的文件上傳到Google Drive
上傳速度很快,不用擔心網速問題~
2. 將工作目錄切換到.py文件所在目錄
如果不放心的話切換完之后用!ls
命令看一下是不是到了指定目錄下。
3. 運行代碼
4. 注意事項
Linux系統下文件路徑使用'/'而不是'\'
總結
-
可以把Google Colab看成是一台帶有GPU或者TPU的Ubuntu虛擬機,只不過我們只能用命令行的方式操作它。你可以選擇執行系統命令,也可以直接編寫運行python代碼。
-
掛載完Google Drive,會在虛擬機里生成一個drive文件夾,直接將Google Drive當成是一塊硬盤即可。訪問drive文件夾里的文件,就是在訪問你的Google Drive里的文件。
-
Colab最多連續使用12小時,超過時間系統會強制掐斷正在運行的程序並收回占用的虛擬機。(好像再次連接到虛擬機后,虛擬機是被清空的狀態,需要重新配置和安裝庫等等)
-
請使用科學-上網方式。
好了,Google Colab的使用方法就先介紹到這里了,筆者也是剛接觸不久,寫下了這篇使用總結的文章與大家分享。文中若有問題之處,還請大家多多包涵,可以在評論區指出我的錯誤,互相學習。
zeusee.com 智雲視圖