基於高斯過程的貝葉斯優化(一)引言
閱讀本文默認具有一定的概率數理統計與隨機過程基礎。 假設我們有一個機器學習模型M（如XGBoost，SVM，神經網絡等），其超參數為記為$x_i$，則每對M進行評估的結果可記為$y_i=f(x_i)$，在這里$y_i$可以是LOSS等評價指標。問題在於如何選擇超參數找到我們的最優超參數$x ...
原文：基於高斯過程的貝葉斯優化(三)GP超參數的估計
前面的文章大致描述了基於高斯過程 GP 貝葉斯優化的原理框架，該框架中也存在了幾個參數，本篇文章簡單介紹如何對他們進行估計。 首先介紹一下貝葉斯優化框架的超參數有哪些： 回憶我們將高斯過程表述為以下形式: f x sim G P left m x , k left x , x prime right right 其中 m x 表示均值函數，一般都設為 ，不需要更新，我們更關心的是核函數k，核函數的 ...
2019-03-22 14:04 0 1619 推薦指數：
相關推薦
從高斯過程到貝葉斯優化
第一篇博客，淺談自己對高斯過程和貝葉斯優化的理解，有誤處歡迎指正。 一. 高斯過程回歸 1. 高斯過程到底是個什么東西？！ 簡單來說，高斯過程可以看成是一個函數，函數的輸入是x，函數的輸出是高斯分布的均值和方差。 對於一些X值有對應的Y值，從X到Y存在映射關系f，即f（X）=Y ...
基於貝葉斯優化的超參數tuning
https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/ 貝葉斯優化：使用高斯過程作為代理函數，並且通常優化提升幅度的期望Expected Improvement(新試驗相對當前最好觀測 ...
超參數貝葉斯優化
超參數(Hyper-parameter)是定義模型或者定義訓練過程的參數,是相對於模型參數(Parameter)來說的,比如目標檢測網絡的網絡結構,激活函數的選擇,學習率的大小,Anchor的尺寸等等,都屬於超參數.超參數對網絡的性能(如目標檢測網絡的mAP等)有很大的影響,因此需要找到性能最優 ...
基於高斯過程的貝葉斯優化(二)AC函數
上節介紹過acquistion function(AC函數)是用來利用之前的信息尋找下一個$x_{t+1}$。下面介紹AC函數的具體形式： 目前主流的AC函數主要有三種Probability of Improvement(PI)，Excepted Improvement(EI)，GP Upper ...
<轉>淺談：高斯過程與貝葉斯優化
高斯過程（Gaussian process） 高斯過程常在論文里面簡寫為GP。定義：如果隨機過程的有限維分布均為正態分布，則稱此隨機過程為高斯過程或正態過程。 首先我們來解讀一下定義： 第一個問題：什么是隨機過程？ 大家都學過概率論，一定知道什么叫樣本空間和隨機變量（此處假設讀者知道 ...
貝葉斯參數估計
(學習這部分內容約需要1.9小時) 摘要 在貝葉斯框架中, 我們將統計模型的參數視為隨機變量. 模型由變量值的先驗分布以及決定參數如何影響觀測數據的證據模型來指定. 當我們對觀測數據進行條件化時, 我們得到參數的后驗分布. 術語"貝葉斯參數估計"會讓我們誤以為對參數進行了估計, 實際上我們通常 ...
貝葉斯的三個參數估計
1. 貝葉斯之參數估計 1. 貝葉斯之參數估計 1.1. 背景知識 1.2. 最大似然估計（MLE） 1.3. 最大后驗概率估計（MAP） 1.4. 貝葉斯估計 1.5. 什么時候 MAP 估計與最大似然估計相等 1.1. ...