PyTorch中scatter和gather的用法 闲扯 许久没有更新博客了， 年总体上看是荒废的，没有做出什么东西，明年春天就要开始准备实习了，虽然不找算法岗的工作，但是还是准备在 年的最后一个半月认真整理一下自己学习的机器学习和深度学习的知识。 scatter的用法 scatter中文翻译为散射，首先看一个例子来直观感受一下这个API的功能，使用pytorch官网提供的例子。 首先我们可以看到 ...
2019-11-17 11:21 0 457 推荐指数：
tf.gather和gather_nd从params中收集数值，tf.scatter_nd 和 tf.scatter_nd_update用updates更新某一张量。严格上说，tf.gather_nd和tf.scatter_nd_update互为逆操作。 1. 已知数值的位置，从张量中提 ...
看得不明不白（我在下一篇中写了如何理解gather的用法） gather是一个比较复杂的操作，对一个2维tensor，输出的每个元素如下： 二维tensor的gather操作 针对0轴 注意index此时的值 输入 输出 分割线============ 针对1轴 ...
先放一张表，可以看成是二维数组 行(列)索引 索引0 索引1 索引2 索引3 索引0 0 ...
首先，给出官方文档的链接： https://pytorch.org/docs/stable/generated/torch.gather.html?highlight=gather#torch.gather 然后，我用白话翻译一下官方文档。 gather，顾名思义，聚集 ...
最近在学习pytorch函数时需要做独热码，然后遇到了scatter_()函数，不太明白意思，现在懂了记录一下以免以后忘记。 这个函数是用一个src的源张量或者标量以及索引来修改另一个张量。这个函数主要有三个参数scatter_(dim,index,src) dim:沿着哪个维度来进行索引 ...
什么是Scatter/Gather scatter/gather指的在多个缓冲区上实现一个简单的I/O操作，比如从通道中读取数据到多个缓冲区，或从多个缓冲区中写入数据到通道； scatter（分散）：指的是从通道中读取数据分散到多个缓冲区Buffer的过程，该过程会将每个缓存区填满，直至通道中 ...
最后输出为 可以看到整个流程如下： replicas: 将模型复制若干份，这里只有两个GPU，所以复制两份 scatter: 将输入数据若干等分，这里划分成了两份，会返回一个tuple。因为batch size=16，所以刚好可以划分成8和8，那如果是15怎么办呢？没关系 ...
PyTorch分布式训练详解教程 scatter, gather & isend, irecv & all_reduce & DDP 本文将从零入手，简单介绍如何使用PyTorch中的多种方法进行分布式训练。 具体而言，我们将使用四种方法，分别是: (1)scatter ...
