Deep Learning 优化方法总结
Stochastic Gradient Descent (SGD) SGD的参数 在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数: Learning Rate 学习率 Weight Decay 权值衰减 Momentum 动量 Learning ...
原文：deep learning loss总结
在深度学习中会遇到各种各样的任务，我们期望通过优化最终的loss使网络模型达到期望的效果，因此loss的选择是十分重要的。 cross entropy loss cross entropy loss和log loss，logistic loss是同一种loss。常用于分类问题，一般是配合softmax使用的，通过softmax操作得到每个类别的概率值，然后计算loss。 softmax函数为： ， ...
2018-12-19 13:58 0 976 推荐指数：
相关推荐
《Ranked List Loss for Deep Metric Learning》CVPR 2019
Motivation: 深度度量学习的目标是学习一个嵌入空间来从数据点中捕捉语义信息。现有的成对或者三元组方法随着模型迭代过程会出现大量的平凡组导致收敛缓慢。针对这个问题，一些基于排序结构的损失取得了不错的结果，本文主要是针对排序loss存在的两个不足做的改进。 不足一：给定一个 ...
Deep Learning基础--各个损失函数的总结与比较
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常 ...
《DEEP LEARNING》
《DEEP LEARNING》 《DEEP LEARNING》 1. 引言 1.1 什么是、为什么需要深度学习 1.2 简单的机器学习算法对数据表示的依赖 1.3 深度学习的历史趋势 最早的人 ...
人脸检测和识别以及检测中loss学习 - 18 - CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition - 1 - 论文学习
CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition https://github.com/HuangYG123/CurricularFace Abstract 作为人脸识别中的一个新兴课题 ...
Deep Learning 31: 不同版本的keras,对同样的代码,得到不同结果的原因总结
一.疑问 这几天一直纠结于一个问题: 同样的代码,为什么在keras的0.3.3版本中,拟合得比较好,也没有过拟合,验证集准确率一直高于训练准确率. 但是在换到keras的1.2.0版本中的时候 ...
DQN（Deep Q-learning）入门教程（结束）之总结
与数据挖掘系列的博客，内容还是比较少的，内容如下所示： DQN（Deep Q-learning ...
【资料总结】| Deep Reinforcement Learning 深度强化学习
在机器学习中，我们经常会分类为有监督学习和无监督学习，但是尝尝会忽略一个重要的分支，强化学习。有监督学习和无监督学习非常好去区分，学习的目标，有无标签等都是区分标准。如果说监督学习的目标是预测 ...