分類問題損失函數的信息論解釋 分類問題的優化過程是一個損失函數最小化的過程，對應的損失函數一般稱為logloss，對於一個多分類問題，其在N個樣本上的logloss損失函數具有以下形式： 其中，yi(n)代表第n個樣本是否屬於第i個類別，取值為0或1，f(x(n))i代表分類模型對於第n ...

文章導讀： 熵 聯合熵和條件熵 互信息 相對熵 交叉熵 困惑度 模擬信道模型 最近在看《統計自然語言處理》，覺得第二章預備知識里的關於信息論的一些基本概念總結得很不錯。雖然對於熵這個詞，我接觸過很多次，在機器學習里的很多地方也都有涉及到，比如說最大熵模型，決策樹訓練時的互信息 ...

信息論（Information Theory）是概率論與數理統計的一個分枝。用於信息處理、信息熵、通信系統、數據傳輸、率失真理論、密碼學、信噪比、數據壓縮和相關課題。 基本概念 先說明一點：在信息論里面對數log默認都是指以2為底數。 自信息量 聯合自信息量 條件自信息 ...

所處的時代是信息時代，信息時代的最主要特征是不確定性。以前的靠某個規律或者通過簡單的幾條生活智慧活好一輩 ...

這篇寫的比較詳細： from: https://zhuanlan.zhihu.com/p/35709485 這篇文章中，討論的Cross Entropy損失函數常用於分類問題中，但是為什么它會在分類問題中這么有效呢？我們先從一個簡單的分類例子來入手。 1. 圖像分類任務 我們希望根據圖片 ...

logistic 損失函數的解釋（ Explanation of logistic regression cost function） 在邏輯回歸中，需要預測的結果$\hat y$可以表示為$\hat y = \sigma ({w^T}x + b)$，我們約定$\hat y = p(y|x ...

本篇是摘抄pytorch-handbook里面的，有興趣可以看看。 損失函數(Loss Function) 損失函數（loss function）是用來估量模型的預測值(我們例子中的output)與真實值（例子中的y_train）的不一致程度，它是一個非負實值函數，損失函數越小，模型的魯棒性 ...

基礎信息論復習 目錄 基礎信息論復習 課程復習指引： 第2章 信息熵 一. 信息量 二. 互信息量與條件互信息量 三. 信源熵 四. 離散平穩信源 五. 馬爾可夫信源與冗余度 ...