2021-03-04 数值求导和自动求导 早在高中阶段，我们就开始接触导数，了解过常用函数的求导公式。大学时，我们进一步懂得了用极限定义导数，比如，函数 在 处的导数定义为 然而，这个定义式似乎从来没有派上过用场，始终束之高阁。因为对我们来说，这个式子是没法计算的， 趋近 ...

从这里学习《DL-with-PyTorch-Chinese》 4.2用PyTorch自动求导 考虑到上一篇手动为由线性和非线性函数组成的复杂函数的导数编写解析表达式并不是一件很有趣的事情，也不是一件很容易的事情。这里我们用通过一个名为autograd的PyTorch模块来解决。 利用 ...

Pytorch中神经网络包中最核心的是autograd包，我们先来简单地学习它，然后训练我们第一个神经网络。 autograd包为所有在tensor上的运算提供了自动求导的支持，这是一个逐步运行的框架，也就意味着后向传播过程是按照你的代码定义的，并且单个循环可以不同 我们通过一些简单例子 ...

　　现在对 CNN 有了一定的了解，同时在 GitHub 上找了几个 examples 来学习，对网络的搭建有了笼统地认识，但是发现有好多基础 pytorch 的知识需要补习，所以慢慢从官网 API 进行学习吧。 AUTOGRAD MECHANICS(自动求导机制) 　　这一部分做了解处理 ...

张量求导规则 $\frac{\partial y}{\partial x}$ 1. 规则 $1$：形状规则 a. 只要 $y$ 或 $x$ 中有一个是标量，那么导数 $\frac{\partial y}{\partial x}$ 的形状和非标量的形状一致。 b. 如果 $y ...

torch.autograd 包提供Tensor所有操作的自动求导方法。 数据结构介绍 autograd.Variable 这是这个包中最核心的类。 它包装了一个Tensor，并且几乎支持所有的定义在其上的操作。一旦完成了你的运算，你可以调用 .backward()来自动计算出所有 ...

https://nndl.github.io/ch5.pdf 见5.4节 ...

关注模型架构的设计，而不必关注模型背后的梯度是如何计算的。不过，我们还是想说一说自动求导是如何实现的。 ...