关于神经网络训练的一些建议笔记
关于网络训练时的参考建议： 1.train loss不断下降，test loss不断下降，网络正在学习 2.train loss不断下降，test loss趋于不变，网络过拟合，需要增大数据；减小网络规模dropout；权重衰减或正则化L2等 3.train loss趋于不变，test ...
原文：神经网络建模的一些感悟；
: 用自定义的weighted loss来看， 个batch仍然没有收敛 ：仍然使用sigmoid cross entropy loss, epoches 左右仍然收敛，对于 w数据 ：改动loss， 避免nan loss的出现 : 用lstm做classfication， 思路是将问题和答案各自转换成一个 维向量，softmax作为 个主题的概率，然后算点积和，最大化点积和的情况是两个属于同一 ...
2017-03-16 20:33 0 1719 推荐指数：
相关推荐
有关一些求导的概念与神经网络梯度下降
Theory for f : \(\mathbb{R}^{n} \mapsto \mathbb{R}\) 先定义一个标识：scalar-product \(\langle a | b\rangle= ...
神经网络模型之AlexNet的一些总结
说明： 这个属于个人的一些理解，有错误的地方，还希望给予教育哈～ 此处以caffe官方提供的AlexNet为例. 目录： 1.背景 2.框架介绍 3.步骤详细说明 5.参考文献 背景： AlexNet是在2012年被发表的一个金典之作，并在当年取得了ImageNet最好 ...
神经网络——一些简单的技术细节
一. 前言 最近开始搞自动驾驶感知部分，将之前的总结的资料和笔记调出来看看，顺便总结一下，留下记录。 二. 神经网络介绍 这里我们采用优达学城[1]上提供的例子，如下图所示。 图 1-1 ...
关于rnn神经网络的loss函数的一些思考
--- 做了这么长时间的基于深度学习的NLP，愈发可以感受到bayesian的意思，语言模型里面一切皆是分布，问题答案都是分布，一个问题模拟出来的是一个答案的分布； 我觉得我做的 ...
建模算法（六）——神经网络模型
（一）神经网络简介 主要是利用计算机的计算能力，对大量的样本进行拟合，最终得到一个我们想要的结果，结果通过0-1编码，这样就OK啦 （二）人工神经网络模型 一、基本单元的三个基本要素 1、一组连接（输入），上面含有连接强度（权值）。 2、一个求和单元 3、一个非线性 ...
神经网络层数和神经元数目 的一些建议
关于隐藏层： 1.别超过两层隐藏层 2.一层隐藏层可以实现近似连续映射，大多数神经网络仅含有一层隐藏层 3.两层隐藏层可能将越过连续映射，存在非连续映射的情况 关于每层隐藏层中的神经元数目 1.每层神经元数目应当在输入层数目和输出层数目之间 2.每层神经元数目应当小于输入层数 ...
卷积神经网络的一些经典网络（Lenet，AlexNet，VGG16，ResNet）
LeNet – 5网络 网络结构为： 输入图像是：32x32x1的灰度图像 卷积核：5x5，stride=1 得到Conv1：28x28x6 池化层：2x2，stride=2 （池化之后再经过激活函数sigmoid） 得到Pool1：14x14x6 卷积核：5x5，stride ...