RMSProp算法的全稱叫 Root Mean Square Prop（均方根傳遞），是 Hinton 在 Coursera 課程中提出的一種優化算法，在上面的 Momentum 優化算法中，雖然初步解決了優化中擺動幅度大的問題。
為了進一步優化損失函數在更新中存在擺動幅度過大的問題，並且進一步加快函數的收斂速度，RMSProp算法對權重 W 和偏置 b 的梯度使用了微分平方加權平均數。優化后的效果如下：藍色的為Momentum優化算法所走的路線，綠色的為RMSProp優化算法所走的路線。
假設在第 t 輪迭代過程中，各個公式如下所示：
在上面的公式中 s d w s_{dw}sdw 和 s d b s_{db}sdb 分別是損失函數在前 t−1輪迭代過程中累積的梯度平方動量， β 是梯度累積的一個指數。所不同的是，RMSProp 算法對梯度計算了微分平方加權平均數。這種做法有利於消除了擺動幅度大的方向，用來修正擺動幅度，使得各個維度的擺動幅度都較小。另一方面也使得網絡函數收斂更快。