阿里PAI
一、產品介紹
阿里雲機器學習平台PAI(Platform of Artificial Intelligence),為傳統機器學習和深度學習提供了從數據處理、模型訓練、服務部署到預測的一站式服務。
PAI DSW(Data Science Workshop)是為算法開發者量身打造的雲端深度學習開發環境,包含Notebook和深度學習網絡可視化建模,支持開源框架的安裝,並提供阿里巴巴深度優化的Tensorflow框架,通過編譯優化提升訓練性能。
PAI-Studio為開發者提供可視化的機器學習試驗開發環境,幫助用戶實現0代碼開發人工智能相關服務。內置數百個成熟的機器學習算法,覆蓋商品推薦、金融風控、廣告預測等場景。
EAS ( Elastic Algorithm Service ) 是PAI平台的模型在線預測服務,支持異構硬件(CPU/GPU)的模型加載,高吞吐,低延遲;支持大規模復雜模型的一鍵部署,實時彈性擴縮容;提供完整的運維監控體系。
PAI AutoLearning(簡稱PAI AL)自動學習支持在線標注、自動模型訓練、超參優化以及模型評估。在平台上只需准備少量標注數據,設置訓練時長即可得到深度優化的模型,並支持一鍵完成模型部署。
二、應用場景
1.AI企業深度學習解決方案
通過PAI DSW,提供深度學習解決方案,支持實際業務場景,深度學習訓練模型可直接部署成服務供業務調用。
2.深度學習算法愛好者
通過PAI DSW,深度學習算法開發愛好者,隨時隨地編寫算法代碼。
3.教育與科研領域
通過PAI DSW,無需繁瑣的環境配置,輔助教育從業者快速實現在線教學演示與科研項目的開發。
4.新聞文本分類案例
通過PAI Studio,文本組件搭建的文本自動分類案例,可以快速挖掘文章的主題;
通過主題權重的聚類,實現新聞自動分類。包括了分詞、詞型轉換、停用詞過濾、主題挖掘、聚類等流程。
5.心臟預測案例
通過PAI Studio,搭建的心臟病自動診斷案例,可以預防心臟病的發生;
通過提取人體相關的體測指標,以數據挖掘方式來分析不同特征對於心臟病的影響,將對預防心臟病起到至關重要的作用。
6.金融風控案例
通過PAI Studio,圖算法組件搭建的金融風控案例,可以快速定位人群中相互的信用關系;
通過圖算法,計算出其它人的信用指數,即得到圖中每個人是欺詐用戶的概率,這個數據可以方便相關機構做風控。
7.商品推薦案例
通過PAI Studio,協同過濾算法搭建的商品推薦業務案例,可以大大提高商品銷量;
通過人的購物行為,借助數據挖掘中的常見算法-協同過濾,挖掘人與人以及商品與商品的關聯關系,推動產品銷售額的提高。
8.阿里小蜜
基於PAI EAS,支持彈性擴縮容,全面提升資源利用率,雙十一當天單模型峰值達40W QPS,絲滑順暢,穩定支撐。
9.阿里媽媽廣告
基於PAI EAS,進行精准廣告投放,毫秒級數據響應,高性能保障核心業務收入。
10.阿里安全
基於PAI EAS,進行大規模圖片安全掃描,針對深度學習優化網絡協議,同時基於GPU加速在線推理處理效率。
11.阿里雲印刷文字識別
基於PAI EAS的高可用引擎,對數以萬計OCR用戶提供高SLA服務。
三、產品特色
1.簡單易用,通過可視化拖拽實現模型訓練,Notebook可視化交互式,一鍵式部署在線預測服務,打通機器學習全鏈路。
2.內置豐富的機器學習算法,封裝上百種機器學習算法,不僅提供了基礎的聚類、回歸類等機器學習算法,也提供了文本分析、特征處理等比較復雜的算法。
3.高性能,支持高維稀疏數據場景,超大規模深度模型訓練;高效的結構化壓縮訓練,加速訓練;inference模型壓縮與量化,提升在線預測單機QPS。
4.低成本,支持CPU/GPU混合調度,高效的資源復用;多種適用客戶場景的計費方式,真正實現AI客戶的雲上降本。
5.解決方案豐富,積累了多種行業算法解決方案,包括泛推薦、金融風控、廣告預測、圖片分類等多種解決方案,幫助企業快速應用。
四、產品使用
1.PAI主流程
(1).數據准備,進行表的創建,支持txt或csv格式數據上傳;或通過OSS上傳數據;
(2).數據預處理,通過SQL腳本、類型轉換、歸一化組件,進行數據預處理
(3).數據可視化,通過全表統計組件,進行查看數據;
(4).算法建模,設置目標字段,進行算法模型訓練;
(5).模型評估,通過預測組件,進行評估查看;
2.PAI-DWS
(1).創建實例,選擇GPU資源;選擇NoteBook建模服務,選擇配置帶寬、網絡、存儲、第三方庫、內置案例等;
(2).上傳數據,在線開發、調試;進行ECS、NAS存儲文件的上傳、下載,以及掛載等;
(3).運行代碼,生成訓練模型;進行深度學習網絡可視化功能開發;
(4).模型部署,服務在線部署調用;
3.PAI-Studio
選擇可視化建模服務,通過對機器學習組件配置,進行可視化的拖拽式連接節點,搭建訓練流水線,一鍵模型訓練;支持Auto ML自動調參;
PAI支持自定義算法上傳功能,支持用戶使用SQL、SPARK2.0、PYSPARK2.0框架自己開發算法,並且把算法封裝為一個組件上傳到PAI-STUDIO中使用;
4.PAI-EAS
對模型服務進行管理,支持模型調用信息查看;在線調試;查看日志、監控、部署信息;服務擴容、停止、刪除等;
支持控制台上傳模型、PAI Studio一鍵部署、PAI DSW部署、本地客戶端部署四種部署方式,快速將模型部署成為Restful API;
5.PAI-AL
(1).數據標注,支持OSS數據源的在線標注或導入帶標簽的圖片;
(2).模型訓練評估,標注完成,設置訓練參數,進行模型訓練;以及訓練的效果、日志等數據;內置圖片分類模型;
(3).模型發布部署,對訓練好的模型評估可以,進行發布部署;