出處： Michael Nielsen的《Neural Network and Deep Learning》，點擊末尾“閱讀原文”即可查看英文原文。
本節譯者：哈工大SCIR本科生 王宇軒
聲明：我們將在每周一，周四 定期連載該書的中文翻譯，如需轉載請聯系wechat_editors@ir.hit.edu.cn，未經授權不得轉載。
-
使用神經網絡識別手寫數字
-
反向傳播算法是如何工作的
-
熱身：一個基於矩陣的快速計算神經網絡輸出的方法
-
關於損失函數的兩個假設
-
Hadamard積
-
反向傳播背后的四個基本等式
-
四個基本等式的證明（選讀）
-
反向傳播算法
-
什么時候反向傳播算法高效
-
反向傳播算法再理解
-
改進神經網絡的學習方法
-
神經網絡能夠計算任意函數的視覺證明
-
為什么深度神經網絡的訓練是困難的
-
深度學習
反向傳播算法是以常見線性代數操作為基礎——諸如向量加法，向量與矩陣乘法等運算。但其中一個操作相對不是那么常用。具體來講，假設s和t是兩個有相同維數的向量。那么我們用s⊙t來表示兩個向量的對應元素(elementwise)相乘。因此s⊙t的元素(s⊙t)j=sjtj。例如，
這種對應元素相乘有時被稱為Hadamard積（Hadamard product）或Schur積(Schur product)。我們將稱它為Hadamard積。優秀的矩陣庫通常會提供Hadamard積的快速實現，這在實現反向傳播時將會有用。
下一節我們將介紹“反向傳播背后的四個基本等式”，敬請關注！
-
“哈工大SCIR”公眾號
-
編輯部：郭江，李家琦，徐俊，李忠陽，俞霖霖
-
本期編輯：俞霖霖