最后输出为 可以看到整个流程如下： replicas: 将模型复制若干份，这里只有两个GPU，所以复制两份 scatter: 将输入数据若干等分，这里划分成了两份，会返回一个tu ...

Broadcast 看名字就很好理解了，其实就是把同一份数据分发广播给所有人，示意图如下： Scatter 不同于Broadcast， scatter可以将不同数据分发给不同的进程。 Gather 这个也很好理解，就是把多个进程的数据拼凑在一起。 Reduce ...