Google Colab——零成本玩轉深度學習


前言

最近在學深度學習HyperLPR項目時,由於一直沒有比較合適的設備訓練深度學習的模型,所以在網上想找到提供模型訓練,經過一段時間的搜索,最終發現了一個谷歌的產品--Google Colaboratory。它幾乎可以實現零成本玩轉深度學習,達到快速訓練模型的目的。

Google Colaboratory是谷歌開放的一款深度學習的研究工具,主要用於深度學習的開發和研究。這款工具現在是可以免費使用,但是暫時還是無法確定是不是永久免費。Google Colab最大的好處是給廣大的AI開發者提供了免費的GPU和TPU使用!GPU型號是Tesla K80!你可以在上面輕松地跑例如:Keras、Tensorflow、Pytorch等框架。

 

Google Colab基本操作

網站:Google Colab

進入Google Colab網站-》新建項目

新建項目​新建項目

創建完項目之后我們就可以進入Colab的主界面了。

添加代碼塊​添加代碼塊

 

現在,我們就可以在代碼框中輸入一些代碼。這里注意,如果我們直接輸入代碼,系統會當作是Python代碼執行。例如我們輸入:

a = 1 print(a)

運行之后輸出框中會打印出"1"。

運行結果​運行結果

 

如果想去執行系統命令,只需要在命令前加感嘆號!。例如我們輸入: 

!ls

運行結果如下: 

運行結果​運行結果

 

執行之后輸出框中會顯示當前目錄下的所有文件夾。這是不是很像Linux下的命令行操作?

其實在Google Colab中連接的雲端的那台虛擬機正是使用的Ubuntu操作系統,我們可以將自己在Google Colab中的一切操作看作是在用命令行控制雲端的那台Ubuntu虛擬機。你可以用它來直接跑代碼,也可以使用一些系統命令(我們后面要安裝第三方軟件都需要借助一系列的系統命令)。

 

前期配置

1. 修改筆記本環境

每新建一個Colab項目,都需要先對筆記本環境進行配置,運行類型選擇是Python2還是Python3,硬件類型選擇CPU、GPU或者TPU。(其中Python2是2.7版本,Python3是3.6版本)

筆記本設置​筆記本設置

 修改完后點擊保存即可。

 

2. 安裝必要的包和軟件

在代碼段中輸入以下代碼:

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

運行代碼,運行中會提示輸入驗證碼,點擊程序給出的網址進行驗證即可。

3. 掛載Google Drive

其實完成前面的操作我們就可以在Google Colab中敲寫代碼或者輸入一些系統命令了,但是我們現在連接的虛擬機是和Google Drive脫離的,也就是說我們跑的程序無法使用谷歌雲盤里的文件,這就非常受限制了。所以我們一般需要將谷歌雲盤看作是虛擬機中的一個硬盤掛載,這樣我們就可以使用虛擬機輕松訪問谷歌雲盤。
掛載Google Drive代碼:

!mkdir -p drive
!google-drive-ocamlfuse drive

 運行掛載Google Drive代碼會出現應認證的鏈接

裝載Google Drive​裝載Google Drive

 點擊鏈接獲得應用認證碼

應用認證碼​應用認證碼

 將應用認證碼復制輸入到下面的文本框中,點擊回車鍵即可

輸入應用認證碼​輸入應用認證碼

加載成功之后在左邊的文件中多了一個dirve文件夾

加載成功​加載成功

 

 掛載完后在虛擬機中會多出一個文件夾"drive",我們可以用

!ls

命令查看。

 

更改工作目錄

在Colab中cd命令是無效的,切換工作目錄使用chdir函數。

import os os.chdir("drive")

執行以上代碼,當前工作目錄會進入到drive文件夾下。我們再使用!ls命令會發現系統輸出的是drive文件夾下的目錄。

回到上級目錄:

os.chdir('../')

 

運行自己的代碼

好了,各種准備工作都做好了,我們如何在Colab上直接運行自己寫好的代碼呢?其實很簡單,就跟在自己電腦上一樣,使用命令

!python XXX.py

就可以了!詳細步驟如下:

1. 將.py文件和其它必要的文件上傳到Google Drive

上傳速度很快,不用擔心網速問題~

 

2. 將工作目錄切換到.py文件所在目錄

import os os.chdir('drive/Colab/Your project folder')

如果不放心的話切換完之后用!ls命令看一下是不是到了指定目錄下。

 

3. 運行代碼

!python XXX.py

 

4. 注意事項

Linux系統下文件路徑使用'/'而不是'\'

 

總結

  1. 可以把Google Colab看成是一台帶有GPU或者TPU的Ubuntu虛擬機,只不過我們只能用命令行的方式操作它。你可以選擇執行系統命令,也可以直接編寫運行python代碼。

  2. 掛載完Google Drive,會在虛擬機里生成一個drive文件夾,直接將Google Drive當成是一塊硬盤即可。訪問drive文件夾里的文件,就是在訪問你的Google Drive里的文件。

  3. Colab最多連續使用12小時,超過時間系統會強制掐斷正在運行的程序並收回占用的虛擬機。(好像再次連接到虛擬機后,虛擬機是被清空的狀態,需要重新配置和安裝庫等等)

  4. 請使用科學-上網方式。

好了,Google Colab的使用方法就先介紹到這里了,筆者也是剛接觸不久,寫下了這篇使用總結的文章與大家分享。文中若有問題之處,還請大家多多包涵,可以在評論區指出我的錯誤,互相學習。


 

zeusee.com 智雲視圖


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM