一、背景 指數族分布有：高斯分布、伯努利分布、二項分布、泊松分布、beta分布、Dirichlet分布、gamma分布等 指數族分布有6大性質： 充分統計量 共軛 最大熵 廣義線性模型 概率圖模型 變分推斷 指數族分布的標准形式 ...

指數族分布是一大類分布，基本形式為： 分布函數框架中的h(x),η(θ),T(x)和A(θ)並不是任意定義的，每一部分都有其特殊的意義。 θ是自然參數(natural parameter)，通常是一個實數； h(x)是底層觀測值（underlying measure）； T(x)是充分統計 ...

在之前的博客中，我們為了理解廣義線性模型引入了指數族分布，不過我們並沒有理解指數族分布是怎么來的。這篇博客我們就來簡單介紹指數族分布的推導與應用。 為什么需要指數族分布 機器學習經常要做這樣一件事：給定一組訓練數據 D，我們希望通過 D 得到我們研究的空間的概率分布。這樣，給出一個 ...

一、指數族分布指的是概率密度函數都能夠表述成以下形式的概率分布。 其中fai(x)是充分統計量，A(ita)是對數配分函數。ita是規范化參數。【配分函數其實就是歸一化因子的概念，為了使概率滿足概率總和為1的約束】 指數族分布包括Gauss分布，bernoulli分布（0，1分布 ...

指數族分布是一大類分布，基本形式為： T(x)是x的充分統計量（能為相應分布提供足夠信息的統計量） 為了滿足歸一化條件，有： 可以看出，當T(x)=x時，e^A(theta)是h(x)的拉普拉斯變換。 指數族分布的例子： 伯努利分布轉換成指數族分布形式： 單變量 ...

上升法、牛頓法、引出感知機學習算法； 廣義線性模型：指數分布族、給定概率分布推導出線性模型。 ...

Exponential family(指數分布族)是一個經常出現的概念，但是對其定義並不是特別的清晰，今天好好看了看WIKI上的內容，有了一個大致的了解，先和大家分享下。本文基本是WIKI上部分內容的翻譯。 1. 幾個問題 什么是指數分布族？ 既然是”族“，那么族 ...

1、什么是指數分布族 1.1 基本描述 指數型分布是一類重要的分布族，在統計推斷中，指數型分布族占有重要的地位，在各領域應用廣泛。許多的統計分布都是指數型分布，彼此之間具有一定的共性，在研究其統計性質與分布特征時，利用指數型分布族的特征，可以將這一族分布的特征分別表示出 ...