Broadcast,Scatter,Gather,Reduce,All-reduce分別是什么？

Broadcast 看名字就很好理解了，其實就是把同一份數據分發廣播給所有人，示意圖如下： Scatter 不同於Broadcast， scatter可以將不同數據分發給不同的進程。 ...