解密萬億參數M6模型預訓練背后的分布式框架Whale

​簡介： 最近，阿里雲PAI團隊和達摩院智能計算實驗室一起發布“低碳版”巨模型M6，大幅降低萬億參數超大模型訓練能耗。借助我們自研的Whale框架僅使用480卡GPU，即訓練出了規模達人類神經元10倍的萬億參數多模態大模型M6，與傳統海外公司實現萬億參數規模相比，能耗降低超八成、效率提升近11倍 ...