技術背景 近幾年在機器學習和傳統搜索算法的結合中,逐漸發展出了一種Search To Optimization的思維,旨在通過構造一個特定的機器學習模型,來替代傳統算法中的搜索過程,進而加速經典圖論等問題的求解。那么這里面就涉及到一個非常關鍵的工程步驟:把機器學習中訓練出來的模型保存成一個文件 ...
技術背景 在前面一篇博客中,我們介紹了MindSpore在機器學習過程中保存和加載模型的方法。這種將模型存儲為靜態文件的做法,使得我們可以更靈活的使用訓練出來的模型,比如用於各種數據集的驗證,或者是遷移學習等場景。 前言 這里使用的數據集和加載的模型,都來自於這篇博客。關於MindSpore的環境部署,可以參考這兩篇博客:CPU版本安裝 GPU版本安裝,當然,這兩個方案都使用了Docker容器化部 ...
2021-05-18 14:17 0 248 推薦指數:
技術背景 近幾年在機器學習和傳統搜索算法的結合中,逐漸發展出了一種Search To Optimization的思維,旨在通過構造一個特定的機器學習模型,來替代傳統算法中的搜索過程,進而加速經典圖論等問題的求解。那么這里面就涉及到一個非常關鍵的工程步驟:把機器學習中訓練出來的模型保存成一個文件 ...
MindSpore計算框架提供了一個官方版本的預訓練模型存儲庫,或者叫做官方版本的預訓練模型中心庫,那就是 MindSpore / hub 。 首先我們需要明確概念: 第一個就是 mindspore_hub 是一個Python庫,或者說是一個Python包(package ...
技術背景 損失函數是機器學習中直接決定訓練結果好壞的一個模塊,該函數用於定義計算出來的結果或者是神經網絡給出的推測結論與正確結果的偏差程度,偏差的越多,就表明對應的參數越差。而損失函數的另一個重要性 ...
摘要:近來,增大模型規模成為了提升模型性能的主要手段。特別是NLP領域的自監督預訓練語言模型,規模越來越大,從GPT3的1750億參數,到Switch Transformer的16000億參數,又是一個數量級的增加。 本文分享自華為雲社區《一文帶你了解MindSpore支持的萬億級參數超大 ...
摘要:為大家梳理了針對常見精度問題的調試調優指南,將以“MindSpore模型精度調優實戰”系列文章的形式分享出來,幫助大家輕松定位精度問題,快速優化模型精度。 本文分享自華為雲社區《技術干貨 | 更快定位精度問題!MindSpore模型精度調優實戰(一)》,原文作者:HWCloudAI ...
模型驗證 原文:Model Validation作者:Rachel Appel翻譯:婁宇(Lyrics)校對:孟帥洋(書緣) 在這篇文章中: 章節: 介紹模型驗證 驗證 Attribute 模型狀態 處理模型狀態異常 手動驗證 自定義驗證 客戶端驗證 ...
摘要:千億參數量的中文大規模預訓練語言模型時代到來。 本文分享自華為雲社區《 MindSpore開源框架加持,如何「煉出」首個千億參數、TB級內存的中文預訓練語言模型?》,原文作者:chengxiaoli。 千億參數量的中文大規模預訓練語言模型時代到來。 近段時間,中文大規模預訓練 ...
摘要:在模型的開發過程中,精度達不到預期常常讓人頭疼。為了幫助用戶解決模型調試調優的問題,我們為MindSpore量身定做了可視化調試調優組件:MindInsight。 本文分享自華為雲社區《技術干貨 | 模型優化精度、速度我全都要!MindSpore模型精度調優實戰(二)》,原文作者 ...