解密萬億參數M6模型預訓練背后的分布式框架Whale
簡介： 最近，阿里雲PAI團隊和達摩院智能計算實驗室一起發布“低碳版”巨模型M6，大幅降低萬億參數超大模型訓練能耗。借助我們自研的Whale框架僅使用480卡GPU，即訓練出了規模達人類神經元10倍的萬億參數多模態大模型M6，與傳統海外公司實現萬億參數規模相比，能耗降低超八成、效率提升近11倍 ...
原文：阿里開源支持10萬億模型的自研分布式訓練框架EPL(EasyParallelLibrary)
簡介：EPL背后的技術框架是如何設計的 開發者可以怎么使用EPL EPL未來有哪些規划 今天一起來深入了解。 作者 王林 颯洋 來源 阿里技術公眾號 一 導讀 最近阿里雲機器學習PAI平台和達摩院智能計算實驗室一起發布 低碳版 巨模型M T，模型參數已經從萬億躍遷到 萬億，規模遠超業界此前發布的萬億級模型，成為當前全球最大的AI預訓練模型。同時，做到了業內極致的低碳高效，使用 GPU在 天內即訓 ...
2022-03-17 11:16 0 664 推薦指數：
相關推薦
阿里開源分布式限流框架 - Sentinel Go 0.3.0 發布，支持熔斷降級能力
作者 | 宿何 阿里巴巴高級開發工程師 Sentinel 是阿里巴巴開源的，面向分布式服務架構的流量控制組件，主要以流量為切入點，從限流、流量整形、熔斷降級、系統自適應保護等多個維度來幫助開發者保障微服務的穩定性。Sentinel 承接了阿里巴巴近 10 年的 雙11 大促流量的核心場景 ...
阿里分布式事務框架GTS開源啦！
就在9號，阿里分布式事務框架GTS開源了一個免費社區版Fescar，看到了這個消息內心非常的激動！在微服務系統中，分布式事務一直是痛點，也是難點。社區里也有一些開源的分布式解決方案的框架，比如ByteTCC、LCN，但是這些框架沒有一個權威的組織在維護，或多或少大家都有點不敢用。阿里 ...
微軟分布式框架Orleans開源了
開源地址: https://github.com/dotnet/orleans 昨天編譯了一下，這個最新的Orleans安裝程序（用github源碼編譯的） 下載地址:http://pan.baidu.com/s/1bntoEtD Orleans官方文檔:https ...
[源碼解析] 深度學習分布式訓練框架 horovod (10) --- run on spark
[源碼解析] 深度學習分布式訓練框架 horovod (10) --- run on spark 目錄 [源碼解析] 深度學習分布式訓練框架 horovod (10) --- run on spark 0x00 摘要 0x01 回顧 1.1 總體 ...
快速了解阿里微服務熱門開源分布式事務框架——Seata
一、Seata 概述 Seata 是 Simple Extensible Autonomous Transaction Architecture 的簡寫，由 feascar 改名而來。 Seata 是阿里開源的分布式事務框架，屬於二階段提交模式。 目前github上已經有 12267 顆星 ...
分布式訓練
，就可以方便地使用 OneFlow 進行分布式訓練。這是 OneFlow 區別於其它框架的 最重要特性。 ...