RNN神经网络
RNN循环神经网络（Recurrent Neural Network） RNN的基本介绍以及一些常见的RNN(本文内容)； 2. 详细介绍RNN中一些经常使用的训练算法，如Back Propagation Through Time(BPTT)、Real-time Recurrent ...
原文：关于rnn神经网络的loss函数的一些思考
做了这么长时间的基于深度学习的NLP，愈发可以感受到bayesian的意思，语言模型里面一切皆是分布，问题答案都是分布，一个问题模拟出来的是一个答案的分布 我觉得我做的最好的一个聊天模型，就是先将问题表示成一个 维的高斯分布，然后计算各个答案跟这个分布的契合概率，当然这个模型肯定不能放出来，但是这种思想可以延伸出去，也希望有兴趣的朋友跟我探讨探讨，jy columbia.edu. : 原则上，l ...
2017-03-16 20:36 0 5216 推荐指数：
相关推荐
神经网络建模的一些感悟；
2016/10/6 1: 用自定义的weighted loss来看， 10000个batch仍然没有收敛； 2：仍然使用sigmoid cross entropy loss, 7 epoches 左右仍然收敛，对于7w数据； 3：改动loss， 避免nan loss ...
循环神经网络（RNN）
html { font-family: sans-serif; -ms-text-size-adjust: 100%; -webkit-text-size-adjust: 100% } body { ...
循环神经网络（RNN）
一、RNN简介 循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时序数据样本的神经网络，它的每一层不仅输出给下一层，同时还输出一个隐状态，给当前层在处理下一个样本时使用。就像卷积神经网络可以很容易地扩展到具有很大宽度和高度的图像，而且一些卷积神经网络还可 ...
径向基(Radial basis function)神经网络、核函数的一些理解
径向基函数(RBF)在神经网络领域扮演着重要的角色，如RBF神经网络具有唯一最佳逼近的特性，径向基作为核函数在SVM中能将输入样本映射到高维特征空间，解决一些原本线性不可分的问题。 本文主要讨论： 1. 先讨论核函数是如何把数据映射到高维空间的，然后引入径向基函数 ...
关于神经网络训练的一些建议笔记
关于网络训练时的参考建议： 1.train loss不断下降，test loss不断下降，网络正在学习 2.train loss不断下降，test loss趋于不变，网络过拟合，需要增大数据；减小网络规模dropout；权重衰减或正则化L2等 3.train loss趋于不变，test ...
有关一些求导的概念与神经网络梯度下降
Theory for f : \(\mathbb{R}^{n} \mapsto \mathbb{R}\) 先定义一个标识：scalar-product \(\langle a | b\rangle= ...
神经网络模型之AlexNet的一些总结
说明： 这个属于个人的一些理解，有错误的地方，还希望给予教育哈～ 此处以caffe官方提供的AlexNet为例. 目录： 1.背景 2.框架介绍 3.步骤详细说明 5.参考文献 背景： AlexNet是在2012年被发表的一个金典之作，并在当年取得了ImageNet最好 ...