華為微認證ModelArts實現智能花卉識別穩過!
ModelArts實現智能花卉識別的概述





ModelArts實現智能花卉識別的解決方案







ModelArts實現智能花卉識別所需的華為雲技術















ModelArts實現智能花卉識別的華為雲實踐











自測題


實踐
什么是OBS?對象存儲服務(Object Storage Service,OBS)是一個基於對象的海量存儲服務,為客戶提供海量、安全、高可靠、低成本的數據存儲能力,包括:創建、修改、刪除桶,上傳、下載、刪除對象等。


import moxing as mox
mox.file.copy_parallel('s3://sandbox-experiment-resource-north-4/flowers-data/flowers-100', 's3://your_bucket_name/your_folder_name')


點擊【選擇】后在選擇算法框中,點擊【我的訂閱】,在我的訂閱算法中找到算法【圖像分類-ResNet_v1_50】,點擊算法名稱,在彈出下拉框中選擇【10.0.0】(算法是按訂閱時間顯示的,若之前已訂閱則需往前查找該算法‘圖像分類-ResNet_v1_50’)。
填寫參數:① “名稱”和“描述”可以隨意填寫;② “算法來源”中的“算法管理”,算法名稱默認為之前選擇的算法。③ “訓練輸入”->“數據來源”點擊“數據存儲位置”,選擇1.2步驟中創建的存放數據的文件夾;④ “訓練輸出”->“模型輸出”點擊“選擇”,選擇1.2創建的OBS桶,並選擇新建文件夾,創建一個輸出文件夾 如:out⑤ “調優參數”:默認;⑥ 作業日志路徑:默認;⑦ 資源池:公共資源池;⑧ 規格:GPU:1*NVIDIA-V100(32GB) | CPU:8核64GB;⑨ 計算節點個數:1;
2.2.通過可視化作業查看模型訓練信息在模型訓練的過程完成后,通過創建可視化作業查看一些參數的統計信息,如loss, accuracy等。操作如下:① 在“訓練作業”界面,點擊“可視化作業”,再點擊“創建”按鈕;② 參數“名稱”,可隨意填寫;③ 規格:默認;④ “訓練輸出位置”選擇2.2步驟中的訓練輸出位置;⑤ “自動停止”不設置(關閉)。點擊“下一步”確認規格無誤后點擊“提交”完成此步。此步驟創建時間較長【約等待5分鍾】,建議直接繼續下一步實驗,無需等待。
3.2.部署在線服務點擊已創建模型名稱前的下拉箭頭,點擊操作列中【部署】,選擇部署菜單欄中的【在線服務】。或點擊模型名稱進入模型詳情頁,點擊詳情頁右上角的【部署】,在部署菜單中選擇【在線服務】。參數如下:① 計費模式:按需計費② 名稱:自定義③ 是否自動停止:關閉④ 描述:自定義⑤ 資源池:公共資源池⑥ 服務流量限制:關閉⑦ 選擇模型及配置:⑧ 模型來源:我的模型⑨ 模型:默認已選擇所創建的模型名稱及版本⑩ 計算節點規格:CPU:2核8GB其他配置默認即可。


點擊“下一步”->“提交”完成部署。說明:部署模型為導入的模型。部署創建完成后,返回列表需要等待部署成功【約等待2分鍾】,部署服務狀態顯示“運行中”,即可進行下一步操作。
4.發起預測請求點擊剛剛部署上線(已完成部署)的在線服務名稱,進入服務詳情,點擊“預測”標簽,在此可進行在線預測,如下圖所示。操作:選擇預測圖片文件,點擊左側“上傳”選擇pic文件夾內的圖片資源,點擊“預測”完成操作。說明:測試圖片存放於桌面pic文件夾內。嘗試更多圖片預測,可點擊桌面sunflower.sh腳本進行快捷搜索。

返回值如圖所示,預測結果顯示,所選圖片與五種類型花卉的匹配程度為:dandelion:1.000(匹配度為100)tulip:0.000(匹配度為0%)
測試常見題型
IAM深入理解
統一身份認證(Identity and Access Management,簡稱IAM)是華為雲提供權限管理的基礎服務,可以幫助您安全地控制雲服務和資源的訪問權限。
AK/SK(Access Key ID/Secret Access Key)
登錄驗證策略
- 會話超時策略
- 賬號鎖定策略
- 賬號停用策略
- 最近登錄提示
- 登錄驗證提示
訪問控制
- 允許訪問的IP地址區間
- 允許訪問的IP地址或網段
- 允許訪問的VPC Endpoint
OBS
OBS是一項面向Internet訪問的服務,提供了基於HTTP/HTTPS協議的Web服務接口,用戶可以隨時隨地連接到Internet的電腦上,通過OBS管理控制台或各種OBS工具訪問和管理存儲在OBS中的數據。此外,OBS支持SDK和OBS API接口,可使用戶方便管理自己存儲在OBS上的數據,以及開發多種類型的上層業務應用。
對象是OBS中數據存儲的基本單位,一個對象實際是一個文件的數據與其相關屬性信息的集合體,包括Key、Metadata、Data三部分:
OBS資源管理工具:管理控制台、OBS Browser(已下線)、OBS Browser+、obsutil命令行工具、obsfs文件系統工具、SDK、API
-
OBS支持如下請求方式:
通過永久訪問密鑰訪問OBS
通過臨時訪問密鑰訪問OBS
通過臨時URL訪問OBS
通過IAM委托訪問OBS
OBS支持通過權限控制(IAM權限、桶策略、ACL)、防盜鏈和跨域資源共享(CORS)進行訪問控制。
OBS權限:Tenant Administrator、Tenant Guest、OBS Administrator、OBS Buckets Viewer、OBS ReadOnlyAccess、OBS OperateAccess
一個帳號及帳號下的所有IAM用戶可創建的桶+並行文件系統的上限為100個。每個桶中存放的對象的數量和大小總和沒有限制,用戶不需要考慮數據的可擴展性。
由於OBS是基於REST風格HTTP和HTTPS協議的服務,您可以通過URL(Uniform Resource Locator)來定位資源。
產生碎片:
- 網絡條件較差,與OBS的服務器之間的連接經常斷開。
- 上傳過程中,人為中斷上傳任務。
- 設備故障。
- 突然斷電等特殊情況。
OBS支持以下兩種方式的服務端加密:KMS托管密鑰的服務端加密(SSE-KMS)、客戶提供加密密鑰的服務端加密(SSE-C)
ModelArts
由於模型訓練過程需要大量有標簽的數據,因此在模型訓練之前需對數據進行標注。針對不同類型的數據集,支持在ModelArts中進行手工標注
ModelArts是一個一站式的開發平台,能夠支撐開發者從數據到AI應用的全流程開發過程。包含數據處理、模型訓練、模型管理、模型部署等操作,並且提供AI Gallery功能,能夠在市場內與其他開發者分享模型。
ModelArts支持應用到圖像分類、物體檢測、視頻分析、語音識別、產品推薦、異常檢測等多種AI應用場景。
端-邊-雲分別指端側設備、智能邊緣設備、公有雲。
MoXing是ModelArts自研的組件,是一種輕型的分布式框架,構建於TensorFlow、PyTorch、MXNet、MindSpore等深度學習引擎之上,使得這些計算引擎分布式性能更高,同時易用性更好。
訪問ModelArts
雲服務平台提供了Web化的服務管理平台,即管理控制台和基於HTTPS請求的API(Application programming interface)管理方式。
- 管理控制台方式
- SDK方式
- API方式
ModelArts系統策略:ModelArts FullAccess 、ModelArts CommonOperations
默認情況下,管理員創建的IAM用戶沒有任何權限,需要將其加入用戶組,並給用戶組授予策略或角色,才能使得用戶組中的用戶獲得對應的權限,這一過程稱為授權。授權后,用戶就可以基於授予的權限對雲服務進行操作。
計費方式:
-
按需計費:這種購買方式比較靈活,可以即開即停。在創建開發環境、創建訓練作業、部署模型服務等頁面中選擇相應資源規格時購買。按實際使用的時長收費
-
預付套餐包
-
包周期(包年包月)購買
外部數據接入:AI Gallery、OBS、MRS、DWS、本地
人工智能網絡簡單介紹

RetinaNet
基於深度學習的目標檢測算法有兩類經典的結構:Two Stage 和 One Stage。
Two Stage:例如Faster-RCNN算法。第一級專注於proposal的提取,第二級對提取出的proposal進行分類和精確坐標回歸。兩級結構准確度較高,但因為第二級需要單獨對每個proposal進行分類/回歸,速度上就打了折扣
One Stage:例如SSD,YOLO算法。此類算法摒棄了提取proposal的過程,只用一級就完成了識別/回歸,雖然速度較快但准確率遠遠比不上兩級結構、
RetinaNet算法源自2018年Facebook AI Research的論文 Focal Loss for Dense Object Detection,作者包括了Ross大神、Kaiming大神和Piotr大神。該論文最大的貢獻在於提出了Focal Loss用於解決類別不均衡問題,從而創造了RetinaNet(One Stage目標檢測算法)這個精度超越經典Two Stage的Faster-RCNN的目標檢測網絡。
resnet,retinanet,fpn網絡結構及pytorch實現代碼
yolo
典型目標檢測算法
inception_v3
經典卷積神經網絡
卷積網絡是大多數計算機視覺任務的 state of the art 模型采用的方法。
darknet
Darknet是一個比較小眾的深度學習框架
yolo是模型;darkent是框架。作者:Joseph Chet Redmon開發了一個深度學習框架——Darkent,並且設計了多種yolo系列模型
SegNet
SegNet是Cambridge提出旨在解決自動駕駛或者智能機器人的圖像語義分割深度網絡
semantic segmentation
ResNet
深度殘差網絡(Deep residual network, ResNet)的提出是CNN圖像史上的一件里程碑事件
Faster_RCNN
RCNN(Region with CNN feature)是卷積神經網絡應用於目標檢測問題的一個里程碑的飛躍。
