自然梯度下降（Natural Gradient Descent）

引言 　　自然梯度法与牛顿法一样，是二阶梯度优化算法。自然梯度法相比最速梯度下降法的优势（？）是在模型参数更新后，模型建模的概率分布与之前不会有太大变化。 背景知识 　　流形$M$是局部欧几里得 ...