分类问题损失函数的信息论解释 分类问题的优化过程是一个损失函数最小化的过程，对应的损失函数一般称为logloss，对于一个多分类问题，其在N个样本上的logloss损失函数具有以下形式： 其中，yi(n)代表第n个样本是否属于第i个类别，取值为0或1，f(x(n))i代表分类模型对于第n ...

文章导读： 熵 联合熵和条件熵 互信息 相对熵 交叉熵 困惑度 模拟信道模型 最近在看《统计自然语言处理》，觉得第二章预备知识里的关于信息论的一些基本概念总结得很不错。虽然对于熵这个词，我接触过很多次，在机器学习里的很多地方也都有涉及到，比如说最大熵模型，决策树训练时的互信息 ...

信息论（Information Theory）是概率论与数理统计的一个分枝。用于信息处理、信息熵、通信系统、数据传输、率失真理论、密码学、信噪比、数据压缩和相关课题。 基本概念 先说明一点：在信息论里面对数log默认都是指以2为底数。 自信息量 联合自信息量 条件自信息 ...

所处的时代是信息时代，信息时代的最主要特征是不确定性。以前的靠某个规律或者通过简单的几条生活智慧活好一辈 ...

这篇写的比较详细： from: https://zhuanlan.zhihu.com/p/35709485 这篇文章中，讨论的Cross Entropy损失函数常用于分类问题中，但是为什么它会在分类问题中这么有效呢？我们先从一个简单的分类例子来入手。 1. 图像分类任务 我们希望根据图片 ...

logistic 损失函数的解释（ Explanation of logistic regression cost function） 在逻辑回归中，需要预测的结果$\hat y$可以表示为$\hat y = \sigma ({w^T}x + b)$，我们约定$\hat y = p(y|x ...

本篇是摘抄pytorch-handbook里面的，有兴趣可以看看。 损失函数(Loss Function) 损失函数（loss function）是用来估量模型的预测值(我们例子中的output)与真实值（例子中的y_train）的不一致程度，它是一个非负实值函数，损失函数越小，模型的鲁棒性 ...

基础信息论复习 目录 基础信息论复习 课程复习指引： 第2章 信息熵 一. 信息量 二. 互信息量与条件互信息量 三. 信源熵 四. 离散平稳信源 五. 马尔可夫信源与冗余度 ...