摘要: 　　1.概述 　　2.激活函数与导数 　　3.激活函数对比 　　4.参考链接 内容： 　　1.概述 　　深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到下一层神经元；再经过该层神经元的activate，继续 ...

附python代码如下: 原始的pdf文档如果需要可以在https://pan.baidu.com/s/1GhGu2c_RVmKj4hb_bje0Eg下载. ...

深度学习中常用的优化器简介 SGD mini-batch SGD 是最基础的优化方法，是后续改良方法的基础。下式给出SGD的更新公式 \[\theta_t = \theta_{t-1} - \alpha\nabla_\theta J(\theta) \] 其中\(\alpha ...

参考：https://blog.csdn.net/xbinworld/article/details/45619685 参考：https://blog.csdn.net/fate_fjh/artic ...

　　现在对 CNN 有了一定的了解，同时在 GitHub 上找了几个 examples 来学习，对网络的搭建有了笼统地认识，但是发现有好多基础 pytorch 的知识需要补习，所以慢慢从官网 API 进行学习吧。 AUTOGRAD MECHANICS(自动求导机制) 　　这一部分做了解处理 ...

0. 标量、向量、矩阵互相求导的形状 标量、向量和矩阵的求导（形状） 标量x (1,) 向量x (n,1) 矩阵X (n,k) 标量y (1,) $\frac{\partial y ...

1、sigmoid函数 ​ sigmoid函数，也就是s型曲线函数，如下： 函数： 导数： ​ 上面是我们常见的形式，虽然知道这样的形式，也知道计算流程，不够感觉并不 ...

1. mat() mat()与array的区别： mat是矩阵，数据必须是2维的，是array的子集，包含array的所有特性，所做的运算都是针对矩阵来进行的。 array是数组，数据可以是多维 ...