【機器學習】貝葉斯線性回歸（最大后驗估計+高斯先驗） - qq_32742009的博客 - CSDN博客
https://blog.csdn.net/qq_32742009/article/details/81485887
貝葉斯優化(BO)的迭代公式:
- 極大似然函數（后驗概率最大化）：
- 對數似然：
- 最后化簡：（這里表明每計算一次w是O(D^3)的復雜度，其中計算y(xi,w)為D2(w乘以f(xi)為D，生成f(xi)為D)，求L2范數為D，計算y(xi,w)求和為N，計算w2為D2，總復雜度為max（NDD2,D2）=N*D3）
- 由於要迭代N步，每步處理一個D*D矩陣（D為特征維數），因此算法復雜度為O(N * D^3)；且注意，當N逐漸增大的時候，BO算法無限趨近LM算法，但BO算法的開銷更大，因此BO不適用於大量樣本點的情形，收斂性待證
- 但BO算法在樣本點過少的情形下，面臨着擬合函數參數波動過大的情況（過於依賴前面的樣本點）
邊緣概率：Marginal likelihood
貝葉斯優化(Bayesian Optimization)深入理解 - marsggbo - 博客園 https://www.cnblogs.com/marsggbo/p/9866764.html
https://app.sigopt.com/static/pdf/SigOpt_Bayesian_Optimization_Primer.pdf
擴展閱讀：
http://papers.nips.cc/paper/7917-scalable-hyperparameter-transfer-learning.pdf
https://arxiv.org/pdf/1802.02219.pdf
類似方法：數據同化【在復雜系統中根據更新數據動態地更新模型】
https://earth.esa.int/documents/973910/979015/oneill1-2.pdf
教程：
http://cerea.enpc.fr/HomePages/bocquet/teaching/assim-mb-en.pdf
貝葉斯與數據同化：
https://pdfs.semanticscholar.org/cdb2/10822ceb3cccb6388ad14b2642380e6f36a5.pdf
https://assimilation.kaust.edu.sa/Media Image Gallery/Papers/final_mwr2012_new.pdf