CMA-ES 算法
一、算法介紹
CMA-ES是Covariance Matrix Adaptation Evolutionary Strategies的縮寫，中文名稱是協方差矩陣自適應進化策略，主要用於解決連續優化問題，尤其在病態條件下的連續優化問題。進化策略算法主要作為求解參數優化問題的方法，模仿生物進化原理，假設不論基因發生何種變化，產生的結果（性狀）總遵循這零均值，某一方差的高斯分布。注意這里進化策略和遺傳算法不同，但是都是進化算法（EAs）的重要變種。
二、算法實現
三、主要特點
1. 使用多變量的正態分布產生新的搜索點
-遵循最大熵原理
x⃗ i∼m⃗ +σN(0,C) for i = 1, 2, …, λ
2. 基於排序的選擇過程
-暗含了不變性， 對於g(f(x))來說具有相同的性能，g是增函數
3. 步長控制使得快速收斂更加便捷
-基於進化路徑
4. 協方差矩陣自適應算法增加了成功步長的似然性，可以根據問題規模的數量級改善性能。
-C∝H−1⟺調整變量的類型，由海森矩陣等價成更為簡單的協方差矩陣
-⟺產生一種新的問題表示方法
-⇒f(x)=g(xTHx)問題簡化為g(xTx)