Note:后记 此权值共享非彼卷积共享。说的是layer实体间的参数共享。 Introduction 想将两幅图像 同时 经过同一模型，似乎之前有些听闻的shared model没有找到确凿的痕迹，单个构建Variable然后每层设置，对debug阶段 甚至使用阶段 来说是场噩梦。能够可行的只想到了，在set params阶段进行指定，如果简单的将两个load的symbol进行Group，然后进行 ...
2017-05-13 13:52 0 1605 推荐指数：
Introduction 已经有一段时间了，Softmax的问题没有解决。比如分类的时候，看大家似乎都用的SoftmaxOutput作为Loss Op，传入了两个参数(i.e.: data，label)，照理说应该输出loss的值；也就是说作为Loss应该输出的是一个标量（bachsize ...
权值共享的思考 在CNN中，每个滤波器 在整个视觉域(visual field)上是不断重复的。这些重复的单元共享着相同的参数设定（权值向量(weight vector)和偏置(bias)），并且组成一个特征图(feature map)。 Layer m-1 Depth为3，按照RGB ...
infer_shape for symbol 形状推断是mxnet的一特色，即使撇开这样做的原因是mxnet强制要求的，其提供的功能也是很helpful的。 infer_shape通常是被封装起来供其内部使用，但也可以把symbol.infer_shape单独提出来，作为函数 ...
共享？ 说道权值共享，就需要提到感受野，感受野其实就是一个隐含神经元的局部连接大小，权值共享就是感受野 ...
局部连接与权值共享 下图是一个很经典的图示，左边是全连接，右边是局部连接。 对于一个1000 × 1000的输入图像而言，如果下一个隐藏层的神经元数目为10^6个，采用全连接则有1000 × 1000 × 10^6 = 10^12个权值参数，如此数目巨大的参数几乎难以训练；而采用 ...
感知、权值共享 CNN用局部感知和权值共享大大减少了参数，同时还具备其它优点。它们与自然图像自身具有的 ...
根据网上查询到的说法，参数就是在卷积神经网络中可以被训练的参数，比如卷积核的权值和偏移等等，而超参数是一些预先设定好并且无法改变的，比如说是卷积核的个数等。 另外还有一个最最基础的概念，就是卷积核的权值共享，这个共享其实指的是一个卷积核在一个输入中的不同位置是共享参数的（意思就是一个输入使用 ...
一.权值线段树与线段树的区别： --权值线段树维护数的个数，数组下标代表整个值域（如果值域太大，可以离散化，后面会有介绍） --线段树则是直接维护每个数 二.权值线段树的用处 1.寻找第K大（整个区间，即左边界为1，右边界为n） 2.逆序对（呵呵归并也能求） 3.最大差& ...
