干货 | 深入理解深度学习中的激活函数
理解深度学习中的激活函数 在这个文章中，我们将会了解几种不同的激活函数，同时也会了解到哪个激活函数优于其他的激活函数，以及各个激活函数的优缺点。 1. 什么是激活函数？ 生物神经网络是人工神经网络的起源。然而，人工神经网络（ANNs）的工作机制与大脑的工作机制并不是十分的相似。不过在我们了解 ...
原文：『深度概念』度量学习中损失函数的学习与深入理解
深度概念 度量学习中损失函数的学习与深入理解 . 概念简介 度量学习 Metric Learning ，也称距离度量学习 Distance Metric Learning，DML 属于机器学习的一种。其本质就是相似度的学习，也可以认为距离学习。因为在一定条件下，相似度和距离可以相互转换。比如在空间坐标的两条向量，既可以用余弦相似度的大小，也可以使用欧式距离的远近来衡量相似程度。 一般的度量学习包 ...
2019-06-20 16:51 0 2180 推荐指数：
相关推荐
机器学习概念区分（一）性能度量 vs 损失函数
形式，我们选取合适的函数来表示什么样子的模型是好的，性能度量就是评估。【用来评价模型好坏的函数】 （ ...
深度学习中softmax交叉熵损失函数的理解
1. softmax层的作用 通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此，比如，在AlexNet中最后的输出层有100 ...
深度学习基础系列（五）| 深入理解交叉熵函数及其在tensorflow和keras中的实现
在统计学中，损失函数是一种衡量损失和错误（这种损失与“错误地”估计有关，如费用或者设备的损失）程度的函数。假设某样本的实际输出为a，而预计的输出为y，则y与a之间存在偏差，深度学习的目的即是通过不断地训练迭代，使得a越来越接近y，即 a - y →0，而训练的本质就是寻找损失函数最小值的过程 ...
深度学习之损失函数
机器学习中的所有算法都依靠最小化或最大化函数，我们将其称为“目标函数”。被最小化的函数就被称为“损失函数”。损失函数也能衡量预测模型在预测期望结果方面的性能，如果预测值与实际结果偏离较远，损失函数会得到一个非常大的值。而在一些优化策略的辅助下，我们可以让模型“学会”逐步减少损失函数预测值的误差 ...
深度学习中损失函数之RMS和MES
学校给我们一人赞助了100美元购买英文原版图书，几方打听后选择了PRML 即Pattern Recognition and Machine Learning。自从拆封这本书开始慢慢的品读，经常会有 ...
盘点深度学习中的损失函数
损失函数度量的是训练的模型与真实模型之间的距离。一般以最小化损失函数为目标，对模型进行不断优化。 常见的损失函数在计算过程中都会接受两个参数：模型预测值y_pred和正确答案y_true。 由于背后的数学计算过程相同，所以即使是不同深度学习框架这些损失函数的api也是大同小异。本文以keras ...
【深度学习】深入理解ReLU(Rectifie Linear Units)激活函数
论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） Part 0：传统激活函数、脑神经元激活频率研究、稀疏激活性 0.1 一般激活函数有如下一些性质： 非线性： 当激活函数是线性的，一个两层 ...