[源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础
[源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础 目录 [源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础 0x00 摘要 0x01 示例 0x02 RPC 基础 ...
原文：[源码解析] PyTorch 分布式(4)------分布式应用基础概念
源码解析 PyTorch 分布式 分布式应用基础概念 目录 源码解析 PyTorch 分布式 分布式应用基础概念 x 摘要 x 基本概念 x 设计思路 . 通信需求 . 概念 x 设置 x 点对点通信 x 集合通信 x 分布式训练 x Ring Allreduce x 高级主题 . 通信后端 . . 后端种类 . . 使用哪个后端 . . Gloo 后端 . . MPI后端 . . NCCL后端 ...
2021-11-13 09:23 0 3070 推荐指数：
相关推荐
[源码解析] PyTorch 分布式(2) ----- DataParallel(上)
[源码解析] PyTorch 分布式(2) ----- DataParallel(上) 目录 [源码解析] PyTorch 分布式(2) ----- DataParallel(上) 0x00 摘要 0x01 综述 1.1 ...
[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer
[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer 目录 [源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer 0x00 摘要 0x01 历史 1.1 ...
分布式应用概述一
1、概述 1.1 分布式应用可以在给定时间（同时）在网络中的多个系统上运行，通过协调它们以快速有效的方式完成特定任务； 通常来说，对于复杂而耗时的任务，非分布式应用（运行在单个系统中）需要几个小时才能完成，而分布式应用通过使用所有系统涉及的计算能力可以在几分钟内完成 ...
解析分布式应用框架Ray架构源码
摘要：Ray的定位是分布式应用框架，主要目标是使能分布式应用的开发和运行。 Ray是UC Berkeley大学 RISE lab（前AMP lab） 2017年12月 开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决 ...
[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行
[源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 目录 [源码解析] PyTorch 分布式(18) --- 使用 RPC 的分布式管道并行 0x00 摘要 0x01 综述 1.1 ...
[源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架
[源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架 目录 [源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架 0x00 摘要 0x00 综述 0x01 启动 ...
[源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关
[源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关 目录 [源码解析] PyTorch 分布式 Autograd (3) ---- 上下文相关 0x00 摘要 0x01 设计脉络 1.1 ...