Pytorch並行計算：nn.parallel.replicate, scatter, gather, parallel_apply

最后輸出為 可以看到整個流程如下： replicas: 將模型復制若干份，這里只有兩個GPU，所以復制兩份 scatter: 將輸入數據若干等分，這里划分成了兩份，會返回一個tu ...

Broadcast,Scatter,Gather,Reduce,All-reduce分別是什么？

Broadcast 看名字就很好理解了，其實就是把同一份數據分發廣播給所有人，示意圖如下： Scatter 不同於Broadcast， scatter可以將不同數據分發給不同的進程。 Gather 這個也很好理解，就是把多個進程的數據拼湊在一起。 Reduce ...