带你理解MST性质
写在前面 最小生成树的引出 假设要在n个城市之间建立通信联络网，则连通n个城市需要n-1条线路。在这种情况下，我们自然需要考虑一个问题，如何在最节省经费的条件下建立这个网络？ 很自然地我们会想到， ...
原文：干货 | 带你理解对比学习损失函数的性质以及温度系数的作用
点击上方，选择星标或置顶，每天给你送上干货 作者 Feng 整理 对白的算法屋 编者寄语： 很多小伙伴都了解对比学习，但要说温度系数的作用可能就不太清楚了。 卷友们好，我是对白。 对比学习中的温度系数是一个神秘的参数，大部分论文都默认采用小的温度系数来进行自监督对比学习 例如 . ， . 。然而并没有对采用小温度系数的解释，以及温度系数是如何影响学习过程的，即温度系数这个角色的意义。 今天给大家 ...
2022-04-10 15:40 0 687 推荐指数：
相关推荐
深度学习中softmax交叉熵损失函数的理解
1. softmax层的作用 通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此，比如，在AlexNet中最后的输出层有1000个节点，即便是ResNet取消了全连接层，但1000个节点的输出层还在。 一般情况下 ...
正确理解功率MOSFET的RDS(ON)温度系数特性
阻具有正的温度系数，因此并联工作没有问题。但是，当深入理解功率MOSFET的传输特性和温度对其传输特性 ...
深度学习之损失函数
机器学习中的所有算法都依靠最小化或最大化函数，我们将其称为“目标函数”。被最小化的函数就被称为“损失函数”。损失函数也能衡量预测模型在预测期望结果方面的性能，如果预测值与实际结果偏离较远，损失函数会得到一个非常大的值。而在一些优化策略的辅助下，我们可以让模型“学会”逐步减少损失函数预测值的误差 ...
MSE损失函数和交叉熵损失函数的对比
为什么要用交叉熵来做损失函数： 在逻辑回归问题中，常常使用MSE（Mean Squared Error）作为loss函数，此时： 这里的 就表示期望输出，表示原始的实际输出（就是还没有加softmax)。这里的m表示有m个样本，loss为m个样本的loss均值。MSE在逻辑回归问题 ...
transE损失函数理解
[ ]+的意思是大于0取原值，小于0则取0。这叫做合页损失函数，训练方法叫做margin-based ranking criterion。此loss函数来自SVM，目的是将正和负尽可能分开。一般margin=1。 其中d是L1或L2的距离，表示h+r向量与t向量之间的距离 ...
干货 | 深入理解深度学习中的激活函数
理解深度学习中的激活函数 在这个文章中，我们将会了解几种不同的激活函数，同时也会了解到哪个激活函数优于其他的激活函数，以及各个激活函数的优缺点。 1. 什么是激活函数？ 生物神经网络是人工神经网络的起源。然而，人工神经网络（ANNs）的工作机制与大脑的工作机制并不是十分的相似。不过在我们了解 ...