https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/ 貝葉斯優化：使用高斯過程作為代理函數，並且通常優化提升幅度的期望Expected Improvement(新試驗相對當前最好觀測 ...

前面的文章大致描述了基於高斯過程(GP)貝葉斯優化的原理框架，該框架中也存在了幾個參數，本篇文章簡單介紹如何對他們進行估計。 首先介紹一下貝葉斯優化框架的超參數有哪些： 回憶我們將高斯過程表述為以下形式: \[f ( x ) \sim G P \left( m ( x ) , k \left ...

【導讀】機器學習中，調參是一項繁瑣但至關重要的任務，因為它很大程度上影響了算法的性能。手動調參十分耗時，網格和隨機搜索不需要人力，但需要很長的運行時間。因此，誕生了許多自動調整超參數的方法。貝葉斯優化是一種用模型找到函數最小值方法，已經應用於機器學習問題中的超參數搜索，這種方法性能好，同時比隨機 ...

目錄 簡介 貝葉斯優化框架 概率代理模型 參數模型 湯普森采樣和Beta-Bernouli模型 線性模型(Linear models) 非參數模型 高斯過程 ...

閱讀本文默認具有一定的概率數理統計與隨機過程基礎。 假設我們有一個機器學習模型M（如XGBoost，SVM，神經網絡等），其超參數為記為$x_i$，則每對M進行評估的結果可記為$y_i=f(x_i)$，在這里$y_i$可以是LOSS等評價指標。問題在於如何選擇超參數找到我們的最優超參數$x ...

第一篇博客，淺談自己對高斯過程和貝葉斯優化的理解，有誤處歡迎指正。 一. 高斯過程回歸 　　1. 高斯過程到底是個什么東西？！ 　　簡單來說，高斯過程可以看成是一個函數，函數的輸入是x，函數的輸出是高斯分布的均值和方差。 　　對於一些X值有對應的Y值，從X到Y存在映射關系f，即f（X）=Y ...

...

看這個模型很久了，可能一直深入的不夠，現把自己的一點愚見不斷的貼上來，一起交流，共同進步。 貝葉斯非參數模型是一種定義在無限維參數空間上的貝葉斯模型。其大概的意思是說非參數模型的大小可以隨着模型內數據的增大或減小而自適應模型的變化，可以根據數據的多少選擇參數來確定模型（這一定義的直觀解釋參考 ...