從高斯過程到貝葉斯優化
第一篇博客，淺談自己對高斯過程和貝葉斯優化的理解，有誤處歡迎指正。 一. 高斯過程回歸 1. 高斯過程到底是個什么東西？！ 簡單來說，高斯過程可以看成是一個函數，函數的輸入是x，函數的輸出是高斯分布的均值和方差。 對於一些X值有對應的Y值，從X到Y存在映射關系f，即f（X）=Y ...
原文：基於高斯過程的貝葉斯優化(二)AC函數
上節介紹過acquistion function AC函數 是用來利用之前的信息尋找下一個 x t 。下面介紹AC函數的具體形式： 目前主流的AC函數主要有三種Probability of Improvement PI ，Excepted Improvement EI ，GP Upper Confidence Bound GP UCB 三種。 首先介紹下最基本的數學背景。 記 mathcal D ...
2019-03-19 14:37 0 694 推薦指數：
相關推薦
基於高斯過程的貝葉斯優化(一)引言
閱讀本文默認具有一定的概率數理統計與隨機過程基礎。 假設我們有一個機器學習模型M（如XGBoost，SVM，神經網絡等），其超參數為記為$x_i$，則每對M進行評估的結果可記為$y_i=f(x_i)$，在這里$y_i$可以是LOSS等評價指標。問題在於如何選擇超參數找到我們的最優超參數$x ...
基於高斯過程的貝葉斯優化(三)GP超參數的估計
前面的文章大致描述了基於高斯過程(GP)貝葉斯優化的原理框架，該框架中也存在了幾個參數，本篇文章簡單介紹如何對他們進行估計。 首先介紹一下貝葉斯優化框架的超參數有哪些： 回憶我們將高斯過程表述為以下形式: \[f ( x ) \sim G P \left( m ( x ) , k \left ...
<轉>淺談：高斯過程與貝葉斯優化
高斯過程（Gaussian process） 高斯過程常在論文里面簡寫為GP。定義：如果隨機過程的有限維分布均為正態分布，則稱此隨機過程為高斯過程或正態過程。 首先我們來解讀一下定義： 第一個問題：什么是隨機過程？ 大家都學過概率論，一定知道什么叫樣本空間和隨機變量（此處假設讀者知道 ...
高斯貝葉斯
高斯貝葉斯用來處理連續數據，假設數據里每個特征項相關聯的數據是連續值並且服從高斯分布，參考這里。 概率公式：在《白話大數據與機器學習》里使用了sklearn里的GaussionNB來處理連續數據：訓練模型 clf = GaussianNB().fit(x, y)預測數據 ...
貝葉斯優化
目錄 簡介 貝葉斯優化框架 概率代理模型 參數模型 湯普森采樣和Beta-Bernouli模型 線性模型(Linear models) 非參數模型 高斯過程 ...
基於貝葉斯優化的超參數tuning
https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/ 貝葉斯優化：使用高斯過程作為代理函數，並且通常優化提升幅度的期望Expected Improvement(新試驗相對當前最好觀測 ...