模型訓練競品收集-華為


華為Model Arts

一、產品介紹

ModelArts是面向AI開發者的一站式開發平台,提供海量數據預處理及半自動化標注、大規模分布式訓練、自動化模型生成,及端-邊-雲模型按需部署能力,幫助用戶快速創建和部署模型,管理全周期AI工作流。

 

二、應用場景

ModelArts是一個一站式的開發平台,能夠支撐開發者從數據到AI應用的全流程開發過程。包含數據處理、模型訓練、模型管理、部署等操作,並且提供AI市場功能,能夠在市場內與其他開發者分享模型、API和數據集。

ModelArts支持應用到圖像分類、圖像檢測、視頻分析、語音識別、產品推薦、異常檢測等多種AI應用場景。

面向不同經驗的AI開發者,提供便捷易用的使用流程:

1.面向業務開發者,不需關注模型或編碼,可使用自動學習流程快速構建AI應用;

2.面向AI初學者,不需關注模型開發,使用預置算法構建AI應用;

3.面向AI工程師,提供多種開發環境,多種操作流程和模式,方便開發者編碼擴展,快速構建模型及應用。

 

三、產品特色

1.數據治理

支持數據篩選、標注等數據處理,提供數據集版本管理,特別是深度學習的大數據集,讓訓練結果可重現。

ModelArts數據處理框架包含數據采集、數據篩選、數據標注、數據集版本管理功能,支持自動化和半自動化的數據篩選功能,自動化的數據預標注及輔助自動化標注工具。

 

2.極“快”致“簡”模型訓練

自研的MoXing深度學習框架,更高效更易用,大大提升訓練速度。

動態超參調整技術(動態 batch size、image size、momentum 等);訓練數據壓縮、多級緩存;分布式數據-模型混合並行;自動混合精度訓練(充分發揮硬件計算能力)等;

 

3.雲邊端多場景部署

支持模型部署到多種生產環境,可部署為雲端在線推理和批量推理,也可以直接部署到雲、邊、端多種場景。

在線推理服務,可以實現高並發,低延時,彈性伸縮,並且支持多模型灰度發布、A/B測試。一鍵部署,可以直接推送部署到邊緣設備中,選擇智能邊緣節點,推送模型。

 

4.自動學習

支持多種自動學習能力,通過“自動學習”訓練模型,用戶不需編寫代碼即可完成自動建模、一鍵部署。

基於遷移學習、自動神經網絡架構搜索實現模型自動生成,通過算法實現模型訓練的參數自動化選擇和模型自動調優的自動學習功能,讓零AI基礎的業務開發者可快速完成模型的訓練和部署。

 

5.可視化工作流

使用GES(圖引擎服務)統一管理開發流程元數據,自動實現工作流和版本演進關系可視化,進而實現模型溯源。

ModelArts提供從數據、算法、訓練、模型、服務全流程可視化管理,無需人工干預,自動生成溯源圖;提供版本可視化比對功能,可幫助用戶快速了解不同版本間的差異。

 

6.AI市場

預置常用算法和常用數據集,支持模型在企業內部共享或者公開共享。

 

 

四、產品使用

1.業務開發者,使用自動學習構建模型

(1).准備數據,上傳或是從公共市場導入數據,支持數據集版本管理;

(2).創建訓練項目,選擇要訓練的數據集,進行訓練項目創建;

(3).數據標注,對訓練項目的數據集,進行人工標注;

(4).算法訓練,標注完成,設置訓練參數,進行自動訓練,放到模型管理模塊;

(5).部署上線,在模型管理找到對應的模型,進行在線部署;

 

 

(6).測試服務,對部署好的模型,進行在線測試驗證;

2.AI初學者,使用預置算法構建模型

(1).准備數據,上傳或是從公共市場導入數據,支持數據集版本管理;

(2).模型訓練,建立訓練作業,基於對數據源、運行參數、日志等進行配置;圖片分類,基於ResNet_v1_50進行訓練,支持TensorFlow, TF-1.8.0-python2.7;

(3).訓練過程可視化,創建TensorBoard,進行訓練過程查看,進行實時圖表顯示;

(4).模型導入,訓練完成,將模型進行導入模型管理,支持模型版本管理;

(5).部署上線,在模型管理找到對應的模型,進行在線部署;

(6).測試服務,對部署好的模型,進行在線測試驗證;

(7).清除資源,刪除相關訓練資源,避免產生相關費用;

 

3.AI工程師,AI全流程開發

(1).准備數據,上傳或是從公共市場導入數據,支持數據集版本管理;

(2).模型訓練,建立訓練作業,選用MXNet引擎,基於已上傳的“train_mnist.py”訓練腳本,支持MXNet-1.2.1-python2.7的版本;

(3).模型編寫,創建NoteBook進行推理代碼和配置文件的編寫和修改,並進行數據的上傳,存儲到OBS;

(4).模型導入,從OBS中選擇數據,導入到模型管理模塊,選擇AI引擎;

(5).部署上線,在模型管理找到對應的模型,進行在線部署;

(6).測試服務,對部署好的模型,進行在線測試驗證;

(7).清除資源,刪除相關訓練資源,避免產生相關費用;

 

 

華為MLS

一、產品介紹

機器學習服務(MLS),幫助用戶通過機器學習技術快速發現數據規律和構建預測模型,並將其部署為預測分析解決方案(數據挖掘分析平台服務)。

 

二、應用場景

1.產品推薦

場景說明:根據客戶本身屬性和行為特征等(年齡、性別、工作類型、婚姻狀況、文化程度、個人貸款、收入情況),預測客戶是否願意辦理相關業務,為客戶提供個性化的業務推薦;

推薦算法:隨機決策森林分類、梯度提升樹分類;

場景案例:銀行理財推薦、車輛定價預測;

2.客戶分群

場景說明:通過數據挖掘來給客戶做科學的分群,依據不同分群的特點制定相應的策略,從而為客戶提供適配的產品、制定針對性的營銷活動和管理用戶,最終提升產品的客戶滿意度,實現商業價值;

推薦算法:K-均值;

場景案例:零售商客戶分群;

3.異常檢測

場景說明:在網絡設備運行中,用自動化的網絡檢測系統,根據流量情況實時分析,預測可疑流量或可能發生故障的設備;

推薦算法:基於PCA的異常檢測、孤立森林;

場景案例:網絡入侵檢測;

4.預測性維護

場景說明:為設備創建預測模型並提供預見性維護建議和計划,減少故障時間和發生幾率,從而提高效率和降低成本;

推薦算法:邏輯回歸、梯度提升樹回歸

場景案例:汽車制造與維護

5.駕駛行為分析

采集駕駛員不良駕駛習慣(比如:急加速、急轉彎、急減速、超速、疲勞駕駛等),通過建模分析駕駛員駕駛習慣優良程度;

面向企業車隊提供駕駛員評級,約束不良駕駛習慣;面向個人車主,提供駕駛習慣優化建議,降低事故率和降低油耗,對於保險公司,可以用於UBI場景。

 

三、產品特點

1.拖拽式交互,通過可視化的拖拽式工作流,實現不同節點的連接,創建工作流,進行數據處理、模型訓練、評估和預測,並以合適的圖表將結果可視化輸出。

2.可視化,數據可視化和模型可視化功能,數據、機器學習模型即時可視,包括數據可視化、模型可視化和模型評估結果可視化。

3.交互式Notebook,交互式建模方式,兼容第三方開發包,支持多種開源建模語言(Python等),提供數據可視化能力;

4.預置豐富算法,預置300多種豐富的機器學習算法,滿足從數據導入和處理,到模型訓練和評估、導出,覆蓋預測分析端到端業務;

5.一站式,提供特征工程、機器學習算法、建模、預測、部署、調度,模型全生命周期管理的機器學習一站式機器學習應用;

支持從數據分析、算法、模型構建、模型可視、模型評估、模型應用、模型預測的一站式應用;支持一鍵部署、自動化建模、預測分析可視化。

 

四、產品使用

1.場景介紹:介紹使用場景和使用的數據信息,該場景模板的數據已提前預置在OBS中,您無需上傳即可直接使用;

2.准備工作:在華為雲OBS中創建桶,用於存放數據集和模型;

3.步驟一:創建ML Studio實例:基於已有的數據集,創建ML Studio實例,選擇服務器、帶寬、存儲進行配置;

 

4.步驟二:使用ML Studio建模:選擇場景或算法類型,創建工作流,然后啟動模型訓練;進行數據集、模型、訓練節點的可視化查看;

 

 

 

 

5.步驟三:使用ML Studio預測:使用已經保存好的模型和其他餐廳的相關數據,預測銷售額。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM