穩過!華為微認證ModelArts實現智能花卉識別穩過!華為雲


華為微認證ModelArts實現智能花卉識別穩過!

ModelArts實現智能花卉識別的概述

image

image

image

image

image

ModelArts實現智能花卉識別的解決方案

image

image

image

image

image

image

image

ModelArts實現智能花卉識別所需的華為雲技術

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

ModelArts實現智能花卉識別的華為雲實踐

image

image

image

image

image

image

image

image-20220211133704043

image

image

image

自測題

image

image

實踐

什么是OBS?對象存儲服務(Object Storage Service,OBS)是一個基於對象的海量存儲服務,為客戶提供海量、安全、高可靠、低成本的數據存儲能力,包括:創建、修改、刪除桶,上傳、下載、刪除對象等。

image

image

import moxing as mox
mox.file.copy_parallel('s3://sandbox-experiment-resource-north-4/flowers-data/flowers-100', 's3://your_bucket_name/your_folder_name')

image

image

點擊【選擇】后在選擇算法框中,點擊【我的訂閱】,在我的訂閱算法中找到算法【圖像分類-ResNet_v1_50】,點擊算法名稱,在彈出下拉框中選擇【10.0.0】(算法是按訂閱時間顯示的,若之前已訂閱則需往前查找該算法‘圖像分類-ResNet_v1_50’)。

填寫參數:① “名稱”和“描述”可以隨意填寫;② “算法來源”中的“算法管理”,算法名稱默認為之前選擇的算法。③ “訓練輸入”->“數據來源”點擊“數據存儲位置”,選擇1.2步驟中創建的存放數據的文件夾;④ “訓練輸出”->“模型輸出”點擊“選擇”,選擇1.2創建的OBS桶,並選擇新建文件夾,創建一個輸出文件夾 如:out⑤ “調優參數”:默認;⑥ 作業日志路徑:默認;⑦ 資源池:公共資源池;⑧ 規格:GPU:1*NVIDIA-V100(32GB) | CPU:8核64GB;⑨ 計算節點個數:1;

2.2.通過可視化作業查看模型訓練信息在模型訓練的過程完成后,通過創建可視化作業查看一些參數的統計信息,如loss, accuracy等。操作如下:① 在“訓練作業”界面,點擊“可視化作業”,再點擊“創建”按鈕;② 參數“名稱”,可隨意填寫;③ 規格:默認;④ “訓練輸出位置”選擇2.2步驟中的訓練輸出位置;⑤ “自動停止”不設置(關閉)。點擊“下一步”確認規格無誤后點擊“提交”完成此步。此步驟創建時間較長【約等待5分鍾】,建議直接繼續下一步實驗,無需等待。

3.2.部署在線服務點擊已創建模型名稱前的下拉箭頭,點擊操作列中【部署】,選擇部署菜單欄中的【在線服務】。或點擊模型名稱進入模型詳情頁,點擊詳情頁右上角的【部署】,在部署菜單中選擇【在線服務】。參數如下:① 計費模式:按需計費② 名稱:自定義③ 是否自動停止:關閉④ 描述:自定義⑤ 資源池:公共資源池⑥ 服務流量限制:關閉⑦ 選擇模型及配置:⑧ 模型來源:我的模型⑨ 模型:默認已選擇所創建的模型名稱及版本⑩ 計算節點規格:CPU:2核8GB其他配置默認即可。

image

image

點擊“下一步”->“提交”完成部署。說明:部署模型為導入的模型。部署創建完成后,返回列表需要等待部署成功【約等待2分鍾】,部署服務狀態顯示“運行中”,即可進行下一步操作。

4.發起預測請求點擊剛剛部署上線(已完成部署)的在線服務名稱,進入服務詳情,點擊“預測”標簽,在此可進行在線預測,如下圖所示。操作:選擇預測圖片文件,點擊左側“上傳”選擇pic文件夾內的圖片資源,點擊“預測”完成操作。說明:測試圖片存放於桌面pic文件夾內。嘗試更多圖片預測,可點擊桌面sunflower.sh腳本進行快捷搜索。

image

返回值如圖所示,預測結果顯示,所選圖片與五種類型花卉的匹配程度為:dandelion:1.000(匹配度為100)tulip:0.000(匹配度為0%)

測試常見題型

IAM深入理解

統一身份認證(Identity and Access Management,簡稱IAM)是華為雲提供權限管理的基礎服務,可以幫助您安全地控制雲服務和資源的訪問權限。

AK/SK(Access Key ID/Secret Access Key)

登錄驗證策略

  • 會話超時策略
  • 賬號鎖定策略
  • 賬號停用策略
  • 最近登錄提示
  • 登錄驗證提示

訪問控制

  • 允許訪問的IP地址區間
  • 允許訪問的IP地址或網段
  • 允許訪問的VPC Endpoint

OBS

OBS是一項面向Internet訪問的服務,提供了基於HTTP/HTTPS協議的Web服務接口,用戶可以隨時隨地連接到Internet的電腦上,通過OBS管理控制台或各種OBS工具訪問和管理存儲在OBS中的數據。此外,OBS支持SDK和OBS API接口,可使用戶方便管理自己存儲在OBS上的數據,以及開發多種類型的上層業務應用。

對象是OBS中數據存儲的基本單位,一個對象實際是一個文件的數據與其相關屬性信息的集合體,包括Key、Metadata、Data三部分:

OBS資源管理工具:管理控制台、OBS Browser(已下線)、OBS Browser+、obsutil命令行工具、obsfs文件系統工具、SDK、API

  • OBS支持如下請求方式:

    通過永久訪問密鑰訪問OBS
    通過臨時訪問密鑰訪問OBS
    通過臨時URL訪問OBS
    通過IAM委托訪問OBS

OBS支持通過權限控制(IAM權限、桶策略、ACL)、防盜鏈和跨域資源共享(CORS)進行訪問控制。

OBS權限:Tenant Administrator、Tenant Guest、OBS Administrator、OBS Buckets Viewer、OBS ReadOnlyAccess、OBS OperateAccess

一個帳號及帳號下的所有IAM用戶可創建的桶+並行文件系統的上限為100個。每個桶中存放的對象的數量和大小總和沒有限制,用戶不需要考慮數據的可擴展性。

由於OBS是基於REST風格HTTP和HTTPS協議的服務,您可以通過URL(Uniform Resource Locator)來定位資源。

產生碎片

  • 網絡條件較差,與OBS的服務器之間的連接經常斷開。
  • 上傳過程中,人為中斷上傳任務。
  • 設備故障。
  • 突然斷電等特殊情況。

OBS支持以下兩種方式的服務端加密:KMS托管密鑰的服務端加密(SSE-KMS)、客戶提供加密密鑰的服務端加密(SSE-C)

ModelArts

由於模型訓練過程需要大量有標簽的數據,因此在模型訓練之前需對數據進行標注。針對不同類型的數據集,支持在ModelArts中進行手工標注

ModelArts是一個一站式的開發平台,能夠支撐開發者從數據到AI應用的全流程開發過程。包含數據處理、模型訓練、模型管理、模型部署等操作,並且提供AI Gallery功能,能夠在市場內與其他開發者分享模型。

ModelArts支持應用到圖像分類、物體檢測、視頻分析、語音識別、產品推薦、異常檢測等多種AI應用場景。

端-邊-雲分別指端側設備、智能邊緣設備、公有雲。

MoXing是ModelArts自研的組件,是一種輕型的分布式框架,構建於TensorFlow、PyTorch、MXNet、MindSpore等深度學習引擎之上,使得這些計算引擎分布式性能更高,同時易用性更好。

訪問ModelArts

雲服務平台提供了Web化的服務管理平台,即管理控制台和基於HTTPS請求的API(Application programming interface)管理方式。

  • 管理控制台方式
  • SDK方式
  • API方式

ModelArts系統策略:ModelArts FullAccess 、ModelArts CommonOperations

默認情況下,管理員創建的IAM用戶沒有任何權限,需要將其加入用戶組,並給用戶組授予策略或角色,才能使得用戶組中的用戶獲得對應的權限,這一過程稱為授權。授權后,用戶就可以基於授予的權限對雲服務進行操作。

計費方式:

  • 按需計費:這種購買方式比較靈活,可以即開即停。在創建開發環境、創建訓練作業、部署模型服務等頁面中選擇相應資源規格時購買。按實際使用的時長收費

  • 預付套餐包

  • 包周期(包年包月)購買

外部數據接入:AI Gallery、OBS、MRS、DWS、本地

人工智能網絡簡單介紹

image

RetinaNet

基於深度學習的目標檢測算法有兩類經典的結構:Two Stage 和 One Stage。

Two Stage:例如Faster-RCNN算法。第一級專注於proposal的提取,第二級對提取出的proposal進行分類和精確坐標回歸。兩級結構准確度較高,但因為第二級需要單獨對每個proposal進行分類/回歸,速度上就打了折扣

One Stage:例如SSD,YOLO算法。此類算法摒棄了提取proposal的過程,只用一級就完成了識別/回歸,雖然速度較快但准確率遠遠比不上兩級結構、

RetinaNet算法源自2018年Facebook AI Research的論文 Focal Loss for Dense Object Detection,作者包括了Ross大神、Kaiming大神和Piotr大神。該論文最大的貢獻在於提出了Focal Loss用於解決類別不均衡問題,從而創造了RetinaNet(One Stage目標檢測算法)這個精度超越經典Two Stage的Faster-RCNN的目標檢測網絡。

resnet,retinanet,fpn網絡結構及pytorch實現代碼

yolo

典型目標檢測算法

inception_v3

經典卷積神經網絡

卷積網絡是大多數計算機視覺任務的 state of the art 模型采用的方法。

Inception v3 論文筆記

darknet

Darknet是一個比較小眾的深度學習框架

yolo是模型;darkent是框架。作者:Joseph Chet Redmon開發了一個深度學習框架——Darkent,並且設計了多種yolo系列模型

Darknet53網絡結構圖及代碼實現

SegNet

SegNet是Cambridge提出旨在解決自動駕駛或者智能機器人的圖像語義分割深度網絡

【語義分割】--SegNet理解

semantic segmentation

ResNet

深度殘差網絡(Deep residual network, ResNet)的提出是CNN圖像史上的一件里程碑事件

你必須要知道CNN模型:ResNet

卷積神經網絡百科

Faster_RCNN

RCNN(Region with CNN feature)是卷積神經網絡應用於目標檢測問題的一個里程碑的飛躍。

RCNN,Fast RCNN, Faster RCNN整理總結

一文讀懂Faster RCNN


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM