摘要：華為雲AI開發平台ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，降低AI在行業的落地門檻。全面的可視化評估以及智能診斷功能，使得開發者可以直觀了解模型各方面性能，從而進行針對性的調優。
今年，全新發布的華為雲ModelArts備受關注，創新黑科技成為AI界團寵。
模型構建一直是AI落地行業遇到的挑戰之一，尤其是如何對即將部署上線的模型進行評估和診斷，以確保研發是否滿足業務需求，保證AI產品的質量水平，讓評測結果優秀的模型直接投入生產環境，對差強人意的模型進行調優。
華為雲AI開發平台ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，降低AI在行業的落地門檻。全面的可視化評估以及智能診斷功能，使得開發者可以直觀了解模型各方面性能，從而進行針對性的調優。
全方位為AI模型體檢，降低AI研發門檻
長期以來，模型調優通常過於依賴數據科學家或算法工程師的個人經驗，這就導致開發一個最優AI模型門檻高、代價大。另一方面，除了模型精度等常用指標之外，要將模型部署在生產環境，就必須考慮其性能、可解釋性、魯棒性、抗攻擊性等其他指標。對於大多數數據科學家或算法工程師而言，這些指標的分析和優化並不是非常直觀。這就導致AI模型進入生產環境困難重重。
為了解決上述兩方面的問題，華為雲ModelArts通過平台內置的工具幫助用戶自動分析和評估出模型的各項指標，相當於生成模型的“體檢報告”，並給出優化建議，用戶可根據優化建議進一步提升模型效果或者決定是否將其部署到生產環境。
模型評估診斷更智能，調優更具針對性
ModelArts可提供精度、敏感度、計算性能、對抗性等指標的分析和診斷，並輔助熱力圖、抽象特征分布等手段便於理解模型和數據分布情況。
1.可視化呈現樣本預測值和真實值，數據分析更直觀
在精度方面，ModelArts提供了混淆矩陣、ROC等常用指標，將每個樣本的預測值和真實值可視化呈現，便於用戶基於原始數據進行深入分析。例如花卉識別場景，由於花卉種類繁多，同一類別下花卉差異性小，對AI模型的精度要求就會更高。ModelArts對圖像識別模型精度進行精確評估，保證花卉識別的准確性。
基於ModelArts的圖像分類模型預測結果展示
2.切分數據集細化模型敏感度分析，優化建議更聚焦
在敏感度分析方面，ModelArts根據數據集的一些基礎特性（例如圖像的亮度、清晰度等特征，或者文本的長度等特征）將原始數據集切分為不同的子集，然后在不同的子集上評估模型的精度指標，即可分析出該模型對於不同特征的敏感度，進而為模型優化提供方向。當圖像亮度對模型精度影響波動比較大時，需要再重訓練時對亮度進行增強。
基於ModelArts的抽象特征敏感度分析及其診斷建議
3.深入AI底層系統算子優化，具象化模型計算性能分析
在計算性能方面，ModelArts可針對常用框架訓練的模型進行細粒度性能分析，可以分析出算子的推理時長和參數量分布，為算子優化和模型壓縮提供方向。
基於ModelArts的模型計算性能分析
4.內置多種攻擊算法，多維度評估模型對抗性
在對抗性評估方面，ModelArts內置了多種攻擊算法，針對模型進行攻擊並輸出攻擊成功率以及被攻擊后的模型的精度指標，如圖4所示。根據診斷建議，可以發現模型在某些類別上更容易受到攻擊，可以通過進一步的數據增強來優化。對於模型中潛在的容易受到攻擊的算子，ModelArts也可以自動做出相應的提示。從圖5中，可以看出，被攻擊后ROC曲線明顯不如被攻擊之前。因此，不建議該模型直接部署到生產環境，而需要先根據ModelArts診斷建議進行進一步優化。
圖4. 基於ModelArts的模型對抗性攻擊評估和診斷
（a）
（b）
圖5. 模型被攻擊前（a）和被攻擊后（b）的ROC曲線
三大場景智能評估和診斷，模型調優有的放矢
目前，模型智能評估與診斷支持三種類型的模型和數據集，“圖像分類”、“物體檢測”和“語義分割”，讓用戶全面了解模型對不同數據特征的適應性，使得模型調優可以做到有的放矢。
假如要對五類食品的圖像進行分類，使用ModelArts市場訂閱的ResNet_V1_50算法訓練，第一次訓練得到的模型在測試集上進行評估，精度為54.8%，在敏感度分析中，可以發現模型對圖像亮度的敏感度非常大，不同亮度區間里模型精度的方差達到0.249，建議進行亮度方面的數據擴增。
擴增數據后重新訓練模型，使用相同測試集進行模型評估，精度上升到63.4%，不同亮度區間里模型精度的方差下降到0.217。
在對安全帽的檢測任務中，使用ModelArts市場訂閱的物體檢測-EfficientDet算法訓練，在驗證集上獲得74.8%mAP。
根據建議進行數據擴增，點擊二次訓練按鈕，推薦的訓練參數會自動加載到新的訓練任務中。
訓練結束后，查看評估結果，驗證集mAP有顯著提升。
華為雲ModelArts的黑科技功能不止於自動化模型評估與診斷功能。運用ModelArts，機器狗可以實現工業巡檢，自動識別火情、規划路徑、關閉火情按鈕；雨林保護組織里的護林員可以更好地保護蜘蛛猴等瀕危動物；同濟大學的學生們基於ModelArts平台建立了一套濕地數字孿生系統幫助杭州灣的候鳥得到更好的保護和科研……后續將為大家帶來更多ModelArts創新技術揭秘。
華為雲ModelArts通過持續創新，打造最強AI黑科技，使AI可以更好地進入生產生活，加速AI在產業的落地和深入，擴大AI應用的覆蓋面，進一步釋放AI技術紅利，讓更多企業可以借力AI進行轉型升級。