AI應用開發實戰 - 從零開始搭建macOS開發環境
本視頻配套的視頻教程請訪問:https://www.bilibili.com/video/av24368929/
建議和反饋,請發送到
https://github.com/Microsoft/vs-tools-for-ai/issues
聯系我們
OpenmindChina@microsoft.com
零、前提條件
- 一台能聯網的電腦,使用macOS操作系統
- 請確保鼠標、鍵盤、顯示器都是好的
一、工具介紹
Viusal Studio code
Visual Studio Code 是微軟繼Visual Studio 宇宙第一IDE后出品的又一利器,是一款完全免費的文本編輯器。
Visual Studio Code 支持Windows、Linux和Mac三大操作系統,有着一流的響應速度,不論是本身的啟動,還是加載目錄、打開瀏覽大文件的速度,都十分迅速;這款文本編輯器的可擴展能力也十分強大,在其活躍生態的支持下,提供了大量的插件供開發者自行配置,比如對各種小眾語言的支持、數據訪問、鍵盤布局等等;另外,它在配置上非常靈活,但大多是基於json的文本配置,使用起來不向圖形界面那樣簡單易懂,但是熟悉后還是很方便的。
Tools for AI
Visual Studio Code 上的Tools for AI 是微軟官方出品的一站式機器學習集成開發環境,其與VS code相結合,能讓開發人員在同一個開發環境里,完成從編輯、訓練、集成模型,到服務與應用的代碼開發。
Tools for AI 對訓練任務的調度和管理做了很好的集成。現在、后端的計算平台支持本機、Linux服務器、微軟的企業級計算資源管理平台、Azure的機器學習平台、Batch AI等。
另外還能夠管理各種遠程的存儲,直接在界面中上傳數據、下載模型日志等文件。
二、搭建開發環境
Visual Studio Code 安裝
訪問 https://code.visualstudio.com
點擊Download自動下載對應操作系統的Visual Studio Code

插件安裝
首先打開VS Code,點擊擴展圖標

首先安裝好Python插件

有插件自動更新或安裝后,就會提示重新加載,點擊重新加載后,VS Code就會重新啟動,並且加載相應的插件。
然后搜索Tools for AI,選擇第一個安裝。

這里同樣也要點擊重新加載。
同樣,我們可以把中文包也安裝上,這樣就能顯示中文了。
安裝Git
訪問 https://git-scm.com/downloads
下載Mac適用的版本
下載機器學習示例庫
打開終端,找到一個自己想用來存放這些文件的文件夾,在終端中輸入
git clone https://github.com/Microsoft/samples-for-ai/
這時Git開始自動克隆示例庫

安裝python
這一步大家安裝python3.5或3.6皆可,但更推薦大家安裝python3.6,同時請一定選擇64位的版本,否則很多機器學習框架都無法使用。
訪問 https://www.python.org/downloads/ 選擇適用於macOS的64位安裝包
note:在python安裝完成后,請在Application中找到python的安裝文件,運行Certificates install.commands,安裝常見的根證書,否則python腳本訪問任何https網站時都會出現證書錯誤,這也會影響我們接下來的安裝過程

安裝機器學習和機器學習的軟件及依賴
還是上一步的文件夾,進入installer目錄,輸入
python ./install.py

等待它安裝完成。
至此,環境搭建已經全部結束。
三、運行示例代碼
從這一步開始,我們要開始真正進行訓練了,如果你是第一次接觸機器學習,那么你就可以訓練出自己的第一個模型了!
首先打開Visual Studio Code,選擇文件->打開
打開samples
的總目錄。

我們使用tensorflow和MNIST來作為例子。

MNIST是一個流行的示例數據集,是人手寫的數字的圖片集。我們可以用它來訓練一個模型,讓計算機識別出人手寫的數字是什么。
note:如果你的電腦安裝了多個版本的python,請點擊VS Code窗口下方的
Python環境
,程序將列出本機找到的所有python環境,我們要將其切換到正確的環境上


本地調試及訓練
首先,點擊AI Explorer
來新建或者修改本地環境配置。在Local - Environment
下右鍵,點擊Add Configuration

設置好name,並將上一步選擇的python環境的路徑填寫進去

點擊右下角的Finish來刷新環境配置
note:一定要點擊Finish才能正確地刷新配置

在配置好本地環境后,還需要添加一個運行作業的配置,這里選擇查看->命令面板
,輸入AI: Edit Job Properties
,然后回車。

note:如果你的電腦安裝了多個版本的python,請修改
startupCommand
中的Python
改為Python3
,然后點擊Finish
,這樣可以確保在執行作業的時候使用python3運行程序

右鍵convolutional.py
,選擇AI: Submit Job

選擇Local

選擇剛才配置好的運行環境

可以看到屏幕下方有一個新的終端窗口,這時程序就已經開始對模型進行訓練了

遠程訓練
由於Mac沒有配置Nvidia的顯卡,因此只能使用CPU訓練模型,如果本機的性能不行,有的時候可能需要花費很長時間,這個時候,如果遠程的服務器,特別是有專門的計算資源加持的話,速度會快很多。另外,很多機器學習的框架支持並行計算,遠程訓練時還可以接入並行的資源,進一步提高訓練效率。
Tools for AI支持多種遠程訓練的平台,包括Remote Machine、私有部署的PAI,以及Azure的Batch AI等,本系列博客以后會詳細介紹如何使用這些資源。本篇博客主教講解如何在遠程Linux上進行訓練。
首先在AI Explorer
中,在Remote Linux
上點擊鼠標右鍵,點擊Add Configuration
,然后填入自己服務器的信息,最后點擊Finish
完成設置


然后,同樣像上次一樣選擇AI: Submit Job
,只是這次要選擇剛才配置好的Remote Linux
在提交完作業后,如果想要查看運行情況,則需要在Remote Linux
中選擇之前配置好的機器,點擊鼠標右鍵,選擇List Jobs
,這時可以看到這台機器上提交過的任務列表


點擊我們剛剛提交的那個,就可以列出這個任務的所有細節

同時可以通過點擊頁面上的Open Storage Explorer
來查看該任務在遠程機器下的目錄。

如果需要查看遠程機器的其他目錄,則在機器上右鍵,選擇Open Storage Explorer
,選擇Custom Directory
,然后輸入你要訪問的目錄即可

至此,遠程模型訓練的部分就完場了。