基於高斯過程的貝葉斯優化(一)引言
閱讀本文默認具有一定的概率數理統計與隨機過程基礎。 假設我們有一個機器學習模型M（如XGBoost，SVM，神經網絡等），其超參數為記為$x_i$，則每對M進行評估的結果可記為$y_i=f(x_i) ...
原文：高斯貝葉斯
高斯貝葉斯用來處理連續數據，假設數據里每個特征項相關聯的數據是連續值並且服從高斯分布，參考這里。 概率公式：在 白話大數據與機器學習 里使用了sklearn里的GaussionNB來處理連續數據：訓練模型 clf GaussianNB .fit x, y 預測數據 clf.predict x 這里我們來實現一下高斯貝葉斯算法，看看該算法具體是如果實現的。 准備數據首先我們需要一些訓練數據 這里使用 ...
2016-08-16 10:32 0 1606 推薦指數：
相關推薦
從高斯過程到貝葉斯優化
第一篇博客，淺談自己對高斯過程和貝葉斯優化的理解，有誤處歡迎指正。 一. 高斯過程回歸 1. 高斯過程到底是個什么東西？！ 簡單來說，高斯過程可以看成是一個函數，函數的輸入是x，函數的輸出是高斯分布的均值和方差。 對於一些X值有對應的Y值，從X到Y存在映射關系f，即f（X）=Y ...
基於高斯過程的貝葉斯優化(二)AC函數
上節介紹過acquistion function(AC函數)是用來利用之前的信息尋找下一個$x_{t+1}$。下面介紹AC函數的具體形式： 目前主流的AC函數主要有三種Probability of ...
基於高斯過程的貝葉斯優化(三)GP超參數的估計
前面的文章大致描述了基於高斯過程(GP)貝葉斯優化的原理框架，該框架中也存在了幾個參數，本篇文章簡單介紹如何對他們進行估計。 首先介紹一下貝葉斯優化框架的超參數有哪些： 回憶我們將高斯過程表述為以下形式: \[f ( x ) \sim G P \left( m ( x ) , k \left ...
<轉>淺談：高斯過程與貝葉斯優化
高斯過程（Gaussian process） 高斯過程常在論文里面簡寫為GP。定義：如果隨機過程的有限維分布均為正態分布，則稱此隨機過程為高斯過程或正態過程。 首先我們來解讀一下定義： 第一個問題：什么是隨機過程？ 大家都學過概率論，一定知道什么叫樣本空間和隨機變量（此處假設讀者知道 ...
sklearn機器學習：高斯朴素貝葉斯GaussianNB
認識高斯朴素貝葉斯class sklearn.naive_bayes.GaussianNB (priors=None, var_smoothing=1e-09)如果Xi是連續值，通常Xi的先驗概率為高斯分布（也就是正態分布），即在樣本類別Ck中，Xi的值符合正態分布。以此來估計每個特征下每個類別 ...
貝葉斯來理解高斯混合模型GMM
最近學習基礎算法《統計學習方法》，看到利用EM算法估計高斯混合模型(GMM)的時候，發現利用貝葉斯的來理解高斯混合模型的應用其實非常合適。 首先，假設對於貝葉斯比較熟悉，對高斯分布也熟悉。本文將GMM用於聚類來舉例。 除了簡單的高斯分布，理論上通過組合多個不同的高斯分布可以構成任意復雜 ...
貝葉斯和朴素貝葉斯是啥
目錄 一、貝葉斯 什么是先驗概率、似然概率、后驗概率 公式推導 二、為什么需要朴素貝葉斯 三、朴素貝葉斯是什么 條件獨立 舉例：長肌肉 拉普拉斯平滑 半朴素貝葉斯 一、貝葉斯 ...