为什么需要做归一化或者标准化


为什么需要做归一化或者标准化

一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓,容易收敛。
具体解释可以看这里:
特征工程中的「归一化」有什么作用? - 忆臻的回答 - 知乎
https://www.zhihu.com/question/20455227/answer/197897298

用我自己的话总结就是:损失函数对某个权重求梯度的时候,会用到这个权重之前的变量,如果这个白能量过大,会导致梯度过大,也就是这个权重在收敛的过程中每次变化量会很大,就不容易收敛。

这就要求我们在收敛过程中使用不同的学习率,对于梯度变化多大的使用小一点的学习率,梯度变化大的方向使用大一点的学习率,这就比较麻烦了。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM