一、簡介
貝葉斯優化用於機器學習調參由J. Snoek(2012)提出，主要思想是，給定優化的目標函數(廣義的函數，只需指定輸入和輸出即可，無需知道內部結構以及數學性質)，通過不斷地添加樣本點來更新目標函數的后驗分布(高斯過程,直到后驗分布基本貼合於真實分布。簡單的說，就是考慮了上一次參數的信息**，從而更好的調整當前的參數。
他與常規的網格搜索或者隨機搜索的區別是：
- 貝葉斯調參采用高斯過程，考慮之前的參數信息，不斷地更新先驗；網格搜索未考慮之前的參數信息
- 貝葉斯調參迭代次數少，速度快；網格搜索速度慢,參數多時易導致維度爆炸
- 貝葉斯調參針對非凸問題依然穩健；網格搜索針對非凸問題易得到局部優最
二、理論
介紹貝葉斯優化調參，必須要從兩個部分講起：
- 高斯過程，用以擬合優化目標函數
- 貝葉斯優化，包括了“開采”和“勘探”，用以花最少的代價找到最優值
2.1 高斯過程
高斯過程可以用於非線性回歸、非線性分類、參數尋優等等。以往的建模需要對 p(y|X)p(y|X)
2.3 缺點和不足
- 高斯過程核矩陣不好選
三、例子
目前可以做貝葉斯優化的包非常多,光是python就有:
本文使用BayesianOptimization為例，利用sklearn的隨機森林模型進行分類
安裝
pip install bayesian-optimization前期准備
from sklearn.datasets import make_classification from sklearn.ensemble import RandomForestClassifier from sklearn.cross_validation import cross_val_score from bayes_opt import BayesianOptimization # 產生隨機分類數據集，10個特征， 2個類別
x, y = make_classification(n_samples=1000,n_features=10,n_classes=2)
我們先看看不調參的結果：
rf = RandomForestClassifier() print(np.mean(cross_val_score(rf, x, y, cv=20, scoring='roc_auc'))) 0.965162
可以看到，不調參的話模型20此交叉驗證AUC均值是0.965162，算是一個不錯的模型，那么如果用bayes調參結果會怎么樣呢
bayes調參初探
我們先定義一個目標函數，里面放入我們希望優化的函數。比如此時，函數輸入為隨機森林的所有參數，輸出為模型交叉驗證5次的AUC均值，作為我們的目標函數。因為bayes_opt庫只支持最大值，所以最后的輸出如果是越小越好，那么需要在前面加上負號，以轉為最大值。由於bayes優化只能優化連續超參數，因此要加上int()轉為離散超參數。
def rf_cv(n_estimators, min_samples_split, max_features, max_depth): val = cross_val_score( RandomForestClassifier(n_estimators=int(n_estimators), min_samples_split=int(min_samples_split), max_features=min(max_features, 0.999), # float max_depth=int(max_depth), random_state=2 ), x, y, 'roc_auc', cv=5 ).mean() return val 然后我們就可以實例化一個bayes優化對象了：
rf_bo = BayesianOptimization( rf_cv, {'n_estimators': (10, 250), 'min_samples_split': (2, 25), 'max_features': (0.1, 0.999), 'max_depth': (5, 15)} )里面的第一個參數是我們的優化目標函數，第二個參數是我們所需要輸入的超參數名稱，以及其范圍。超參數名稱必須和目標函數的輸入名稱一一對應。
完成上面兩步之后，我們就可以運行bayes優化了！
rf_bo.maximize()完成的時候會不斷地輸出結果，如下圖所示：
等到程序結束，我們可以查看當前最優的參數和結果：
rf_bo.res['max'] {‘max_params’: {‘max_depth’: 5.819908283575526,
‘max_features’: 0.4951745603509127,
‘min_samples_split’: 2.3110014720414958,
‘n_estimators’: 249.73529231990733},
‘max_val’: 0.9774079407940794}
bayes調參進階
上面bayes算法得到的參數並不一定最優，當然我們會遇到一種情況，就是我們已經知道有一組或是幾組參數是非常好的了，我們想知道其附近有沒有更好的。這個操作相當於上文bayes優化中的Explore操作，而bayes_opt庫給了我們實現此方法的函數：
rf_bo.explore( {'n_estimators': [10, 100, 200], 'min_samples_split': [2, 10, 20], 'max_features': [0.1, 0.5, 0.9], 'max_depth': [5, 10, 15] } )這里我們添加了三組較優的超參數，讓其在該參數基礎上進行explore，可能會得到更好的結果。
同時，我們還可以修改高斯過程的參數，高斯過程主要參數是核函數(kernel)，還有其他參數可以參考sklearn.gaussianprocess
gp_param={'kernel':None} rf_bo.maximize(**gp_param)最終我們的到參數如下：
{'max_params': {'max_depth': 5.819908283575526, 'max_features': 0.4951745603509127, 'min_samples_split': 2.3110014720414958, 'n_estimators': 249.73529231990733}, 'max_val': 0.9774079407940794}運行交叉驗證測試一下：
rf = RandomForestClassifier(max_depth=6, max_features=0.39517, min_samples_split=2, n_estimators=250) np.mean(cross_val_score(rf, x, y, cv=20, scoring='roc_auc')) >>> 0.9754953得到最終結果是0.9755，比之前的0.9652提高了約0.01，做過kaggle的朋友都懂，這在后期已經是非常大的提高了！到后面想提高0.001都極其困難，因此bayes優化真的非常強大！
結束！
Reference
- [1] J. Snoek, H. Larochelle, and R. P. Adams, “Practical bayesianoptimization of machine learning algorithms,” in Advances in neural information processing systems, 2012, pp. 2951–2959.
- [2] 高斯過程：http://www.gaussianprocess.org/gpml/
- [3] 高斯過程：https://www.zhihu.com/question/46631426?sort=created
- [4] 高斯過程：http://www.360doc.com/content/17/0810/05/43535834_678049865.shtml
- [5] Brochu E, Cora V M, De Freitas N. A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning[J]. arXiv preprint arXiv:1012.2599, 2010.