一文搞懂交叉熵损失
本文从信息论和最大似然估计得角度推导交叉熵作为分类损失函数的依据。 从熵来看交叉熵损失 信息量 信息量来衡量一个事件的不确定性，一个事件发生的概率越大，不确定性越小，则其携带的信息量就越小。 设\(X\)是一个离散型随机变量，其取值为集合\(X = {x_0,x_1,\dots,x_n ...
原文：一文搞懂各种“熵”
熵是信息论非常重要的概念。本文简要介绍一下几个概念： 熵 联合熵 条件熵 相对熵 交叉熵 熵 随机变量 X 的分布的熵为： H X sum x p x log p x 性质： 熵是随机变量不确定性的度量，随机变量的取值个数越多，不确定性越大，混乱程度就越大，信息熵越大。 熵的取值范围为 leq H X leq log n ， n 表示取值的个数，当随机分布为均匀分布时，熵取到最大值 在信息传输方面 ...
2020-04-28 15:37 0 736 推荐指数：
相关推荐
一文搞懂CAS
CAS是一个单点的登入登出web协议，它允许用户一次登陆，到处访问；CAS协议一种基于ticket的协议（simple and powerful） CAS概念 CAS server：负责验证 ...
一文搞懂什么是事务
一文搞懂什么是事务 目录 一文搞懂什么是事务 事务概念 脏读、不可重复读、幻读 脏读 不可重复读（前后多次读取，数据内容不一致） 幻读（前后多次读取，数据总量不一致） 数据库事务 ...
一文搞懂RESTful
前言 在学习RESTful 风格接口之前，即使你不知道它是什么，但你肯定会好奇它能解决什么问题？有什么应用场景？听完下面描述我想你就会明白： 在互联网并没有完全流行的初期，移动端也没有那么盛行，页 ...
一文搞懂 websocket
一、它是什么？ WebSocket是HTML5开始提供的一种浏览器与服务器间进行全双工通讯的网络技术。依靠这种技术可以实现客户端和服务器端的长连接，双向实时通信。 1.1 特点 ...
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些 ...
一文搞懂Raft算法
目录 raft算法概览 leader election term 选举过程详解 ...
一文搞懂 Prometheus 的直方图
原文链接：一文搞懂 Prometheus 的直方图 Prometheus 中提供了四种指标类型（参考：Prometheus 的指标类型），其中直方图（Histogram）和摘要（Summary）是最复杂和难以理解的，这篇文章就是为了帮助大家加深对这 histogram 类型指标的理解 ...