https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/
貝葉斯優化：使用高斯過程作為代理函數，並且通常優化提升幅度的期望Expected Improvement(新試驗相對當前最好觀測的提升的期望）。高斯過程是一組函數的分布。高斯過程中的一個樣本包括一組函數。訓練高斯過程會擬合訓練數據的分布，因此能產生和觀測數據相近的函數。使用高斯過程，我們可以計算搜索空間中任意點的期望提升。然后將期望提升最高的點應用於下一組實驗。貝葉斯優化通常能給出非平凡的、不位於grid邊界的連續超參數的估計（比如學習率，正則系數等），並且已經驗證在某些benchmark上能夠超過人類選出的參數。貝葉斯優化的一個有名的實現是Spearmint.