pooling 是仿照人的视觉系统进行降维（降采样），用更高层的抽象表示图像特征，这一部分内容从Hubel&wiesel视觉神经研究到Fukushima提出，再到LeCun的LeNet5首次采用并使用BP进行求解，是一条线上的内容，原始推动力其实就是仿生，仿照真正的神经网络构建人工 ...

之前一篇博文中介绍了深度学习中的pooling层,在本篇中主要介绍转置卷积这种上采样操作。转置卷积也是一种卷积。 L2 pooling \[a^l={1\over k}\sqrt{\sum_{j=1}^k(a_j^{l-1})^2} \] pooling除了仅输出一个值, 也可以输出 ...

在机器学习领域中，有一个重要的假设：独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，否则在训练集上学习到的模型在测试集上的表现会比较差。而在深层神经网络的训练中，当中间神经层的前一层参数发生改变时，该层的输入分布也会发生改变，也就是存在内部协变量偏移问题（Internal ...

1、Batch Normalization的引入 　　在机器学习领域有个很重要的假设：IID独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。在深度学习网络中，后一层的输入是受前一层的影响的，而为了方便训练网络 ...

　　1 前言 　　BERT模型的使用可以分为两种形式：第一种使用方法直接将语句序列输入BERT模型获取特征表示，BERT模型一共提供十二层不同的特征向量输出，随层数的递进，特征表示从专于词义表示到专 ...

卷积概念 什么是卷积？ 以上图为例，中间为卷积核，在输入图像上进行滑动，当滑动到当前位置时，其卷积运算操作是对卷积核所覆盖像素，进行权值和对应位置处像素的乘加： \(\ output= (7 ...

Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架 1. Tuning Process 深度神经网络需要调试的超参数（Hyperparameters）较多，包括： ：学习因子 ：动量梯度下降因子 ：Adam算法参数 ...

前言 在训练深度学习模型时，常想一窥网络结构中的attention层权重分布，观察序列输入的哪些词或者词组合是网络比较care的。在小论文中主要研究了关于词性POS对输入序列的注意力机制。同时对比实验采取的是words的self-attention机制。 效果 下图主要包含两列 ...