解密万亿参数M6模型预训练背后的分布式框架Whale
简介： 最近，阿里云PAI团队和达摩院智能计算实验室一起发布“低碳版”巨模型M6，大幅降低万亿参数超大模型训练能耗。借助我们自研的Whale框架仅使用480卡GPU，即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6，与传统海外公司实现万亿参数规模相比，能耗降低超八成、效率提升近11倍 ...
原文：阿里开源支持10万亿模型的自研分布式训练框架EPL(EasyParallelLibrary)
简介：EPL背后的技术框架是如何设计的 开发者可以怎么使用EPL EPL未来有哪些规划 今天一起来深入了解。 作者 王林 飒洋 来源 阿里技术公众号 一 导读 最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布 低碳版 巨模型M T，模型参数已经从万亿跃迁到 万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。同时，做到了业内极致的低碳高效，使用 GPU在 天内即训 ...
2022-03-17 11:16 0 664 推荐指数：
相关推荐
阿里开源分布式限流框架 - Sentinel Go 0.3.0 发布，支持熔断降级能力
作者 | 宿何 阿里巴巴高级开发工程师 Sentinel 是阿里巴巴开源的，面向分布式服务架构的流量控制组件，主要以流量为切入点，从限流、流量整形、熔断降级、系统自适应保护等多个维度来帮助开发者保障微服务的稳定性。Sentinel 承接了阿里巴巴近 10 年的 双11 大促流量的核心场景 ...
阿里分布式事务框架GTS开源啦！
就在9号，阿里分布式事务框架GTS开源了一个免费社区版Fescar，看到了这个消息内心非常的激动！在微服务系统中，分布式事务一直是痛点，也是难点。社区里也有一些开源的分布式解决方案的框架，比如ByteTCC、LCN，但是这些框架没有一个权威的组织在维护，或多或少大家都有点不敢用。阿里 ...
微软分布式框架Orleans开源了
开源地址: https://github.com/dotnet/orleans 昨天编译了一下，这个最新的Orleans安装程序（用github源码编译的） 下载地址:http://pan.baidu.com/s/1bntoEtD Orleans官方文档:https ...
[源码解析] 深度学习分布式训练框架 horovod (10) --- run on spark
[源码解析] 深度学习分布式训练框架 horovod (10) --- run on spark 目录 [源码解析] 深度学习分布式训练框架 horovod (10) --- run on spark 0x00 摘要 0x01 回顾 1.1 总体 ...
快速了解阿里微服务热门开源分布式事务框架——Seata
一、Seata 概述 Seata 是 Simple Extensible Autonomous Transaction Architecture 的简写，由 feascar 改名而来。 Seata 是阿里开源的分布式事务框架，属于二阶段提交模式。 目前github上已经有 12267 颗星 ...
分布式训练
，就可以方便地使用 OneFlow 进行分布式训练。这是 OneFlow 区别于其它框架的 最重要特性。 ...