[源碼解析] 模型並行分布式訓練 Megatron (3) ---模型並行實現 目錄 [源碼解析] 模型並行分布式訓練 Megatron (3) ---模型並行實現 0x00 摘要 0x01 並行Transformer層 ...

[源碼解析] 模型並行分布式訓練 Megatron (4) --- 如何設置各種並行 目錄 [源碼解析] 模型並行分布式訓練 Megatron (4) --- 如何設置各種並行 0x00 摘要 0x01 前文回顧 0x02 初始化 ...

[源碼解析] 模型並行分布式訓練Megatron (2) --- 整體架構 目錄 [源碼解析] 模型並行分布式訓練Megatron (2) --- 整體架構 0x00 摘要 0x01 啟動 1.1 分布式啟動 ...

[源碼解析] 模型並行分布式訓練Megatron (5) --Pipedream Flush 目錄 [源碼解析] 模型並行分布式訓練Megatron (5) --Pipedream Flush 0x00 摘要 0x01 背景 0x02 論文 ...

[源碼解析] PyTorch分布式優化器(3)---- 模型並行 目錄 [源碼解析] PyTorch分布式優化器(3)---- 模型並行 0x00 摘要 0x01 前文回顧 0x02 單機模型 2.1 基本用法 ...

[源碼解析] 並行分布式任務隊列 Celery 之 多進程模型 目錄 [源碼解析] 並行分布式任務隊列 Celery 之 多進程模型 0x00 摘要 0x01 Consumer 組件 Pool bootstep 1.1 ...

[源碼解析] 並行分布式框架 Celery 之架構 (1) 目錄 [源碼解析] 並行分布式框架 Celery 之架構 (1) 0x00 摘要 0x01 Celery 簡介 1.1 什么是 Celery 1.2 ...

[源碼解析] 並行分布式框架 Celery 之架構 (2) 目錄 [源碼解析] 並行分布式框架 Celery 之架構 (2) 0x00 摘要 0x01 上文回顧 0x02 worker的思考 2.1 worker ...