基於高斯過程的貝葉斯優化(一)引言
閱讀本文默認具有一定的概率數理統計與隨機過程基礎。 假設我們有一個機器學習模型M（如XGBoost，SVM，神經網絡等），其超參數為記為$x_i$，則每對M進行評估的結果可記為$y_i=f(x_i)$，在這里$y_i$可以是LOSS等評價指標。問題在於如何選擇超參數找到我們的最優超參數$x ...
原文：<轉>淺談：高斯過程與貝葉斯優化
高斯過程 Gaussian process 高斯過程常在論文里面簡寫為GP。定義：如果隨機過程的有限維分布均為正態分布，則稱此隨機過程為高斯過程或正態過程。 首先我們來解讀一下定義： 第一個問題：什么是隨機過程 大家都學過概率論，一定知道什么叫樣本空間和隨機變量 此處假設讀者知道 。在概率論中，講過樣本空間，隨機變量相當於是在樣本空間中的一次采樣，采樣的結果是一個事件，在每次采樣的時候都滿足一定的 ...
2018-08-21 10:25 0 3074 推薦指數：
相關推薦
從高斯過程到貝葉斯優化
第一篇博客，淺談自己對高斯過程和貝葉斯優化的理解，有誤處歡迎指正。 一. 高斯過程回歸 1. 高斯過程到底是個什么東西？！ 簡單來說，高斯過程可以看成是一個函數，函數的輸入是x，函數的輸出是高斯分布的均值和方差。 對於一些X值有對應的Y值，從X到Y存在映射關系f，即f（X）=Y ...
基於高斯過程的貝葉斯優化(二)AC函數
上節介紹過acquistion function(AC函數)是用來利用之前的信息尋找下一個$x_{t+1}$。下面介紹AC函數的具體形式： 目前主流的AC函數主要有三種Probability of ...
基於高斯過程的貝葉斯優化(三)GP超參數的估計
前面的文章大致描述了基於高斯過程(GP)貝葉斯優化的原理框架，該框架中也存在了幾個參數，本篇文章簡單介紹如何對他們進行估計。 首先介紹一下貝葉斯優化框架的超參數有哪些： 回憶我們將高斯過程表述為以下形式: \[f ( x ) \sim G P \left( m ( x ) , k \left ...
高斯貝葉斯
高斯貝葉斯用來處理連續數據，假設數據里每個特征項相關聯的數據是連續值並且服從高斯分布，參考這里。 概率公式：在《白話大數據與機器學習》里使用了sklearn里的GaussionNB來處理連續數據：訓練模型 clf = GaussianNB().fit(x, y)預測數據 ...
貝葉斯優化
目錄 簡介 貝葉斯優化框架 概率代理模型 參數模型 湯普森采樣和Beta-Bernouli模型 線性模型(Linear models) 非參數模型 高斯過程 ...
淺談貝葉斯推斷
一、什么是貝葉斯推斷 貝葉斯推斷（Bayesian inference）是一種統計學方法，用來估計統計量的某種性質。它是貝葉斯定理（Bayes' theorem）的應用。英國數學家托馬斯·貝葉斯（Thomas Bayes）在1763年發表的一篇論文中，首先提出了這個定理。 貝葉斯 ...
淺談朴素貝葉斯
貝葉斯公式 貝葉斯公式由英國數學家貝葉斯 ( Thomas Bayes 1702-1761 ) 發展，用來描述兩個條件概率之間的關系，比如 P(A|B) 和 P(B|A)。按照乘法法則，可以立刻導出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可變形為：P ...