梯度下降、反向传播原理,计算图


梯度下降原理及其过程:https://blog.csdn.net/qq_41800366/article/details/86583789

有限差分估计梯度:

写起来简单,但速度慢而且结果区分度不大

 

解析梯度:

计算图:

 

反向传播工作机制:

从输出开始乘以每个节点的本地梯度,一直传递到输入

梯度从后向前传播(链式法则)

 

 

 

 

sigmoid函数:

 

 

加法门、max门、乘法门:

加法门相当于分配梯度

max门相当于路由器,将梯度传给上游最大值所在节点

乘法门相当于转换器

 

 

多个神经元在节点处相加的梯度等于每个神经元的梯度相加的和

 

 

 向量的反向传播:

 

反向传播api:

 

例:

 

 

 summary:

 

 

 

 

 

 

1


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM