解密萬億參數M6模型預訓練背后的分布式框架Whale

​簡介： 最近，阿里雲PAI團隊和達摩院智能計算實驗室一起發布“低碳版”巨模型M6，大幅降低萬億參數超大模型訓練能耗。借助我們自研的Whale框架僅使用480卡GPU，即訓練出了規模達人類神經元10倍 ...