梯度下降原理及其過程：https://blog.csdn.net/qq_41800366/article/details/86583789
有限差分估計梯度：
寫起來簡單，但速度慢而且結果區分度不大
解析梯度：
計算圖：
反向傳播工作機制：
從輸出開始乘以每個節點的本地梯度，一直傳遞到輸入
梯度從后向前傳播（鏈式法則）
sigmoid函數：
加法門、max門、乘法門：
加法門相當於分配梯度
max門相當於路由器，將梯度傳給上游最大值所在節點
乘法門相當於轉換器
多個神經元在節點處相加的梯度等於每個神經元的梯度相加的和
向量的反向傳播：
反向傳播api：
例：
summary：
1