機器學習中的矩陣向量求導(五) 矩陣對矩陣的求導
在矩陣向量求導前4篇文章中，我們主要討論了標量對向量矩陣的求導，以及向量對向量的求導。本文我們就討論下之前沒有涉及到的矩陣對矩陣的求導，還有矩陣對向量，向量對矩陣求導這幾種形式的求導方法。 本文所有求導布局以分母布局為准，為了適配矩陣對矩陣的求導，本文向量對向量的求導也以分母布局 ...
原文：機器學習算法推導--矩陣求導中為何會有“轉置”？
機器學習算法推導 矩陣求導中為何會有 轉置 之前學習神經網絡推導的時候，發現在有的求導上最后結果需要轉置，而有的不需要，很困惑： 淺層神經網絡反向傳播的困惑 正向傳播： 反向傳播： 這里為什么要對W進行轉置操作 為什么別處有的地方就沒有轉置操作 矩陣求導知識 思來想去，突然發現自己對矩陣求導似乎一無所知，遂有： 博主第一次參考的博客 https: blog.csdn.net u article d ...
2020-01-19 17:06 3 4407 推薦指數：
相關推薦
在算法中對矩陣轉置的求導過程:
A矩陣的轉置對A矩陣的偏導得到的結果是單位矩陣. dX'/dX = I d(AX)'/dX = A' ...
【轉】機器學習中的線性代數之矩陣求導
今天推導公式，發現居然有對矩陣的求導，狂汗--完全不會。不過還好網上有人總結了。吼吼，趕緊搬過來收藏備份。 基本公式：Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B ...
機器學習中的矩陣向量求導(二) 矩陣向量求導之定義法
在機器學習中的矩陣向量求導(一) 求導定義與求導布局中，我們討論了向量矩陣求導的9種定義與求導布局的概念。今天我們就討論下其中的標量對向量求導，標量對矩陣求導, 以及向量對向量求導這三種場景的基本求解思路。 對於本文中的標量對向量或矩陣求導這兩種情況，如前文所說，以分母布局為默認 ...
機器學習中的矩陣向量求導(四) 矩陣向量求導鏈式法則
在機器學習中的矩陣向量求導(三) 矩陣向量求導之微分法中，我們討論了使用微分法來求解矩陣向量求導的方法。但是很多時候，求導的自變量和因變量直接有復雜的多層鏈式求導的關系，此時微分法使用起來也有些麻煩。需要一些簡潔的方法。 本文我們討論矩陣向量求導鏈式法則，使用該法則很多時 ...
機器學習中的矩陣向量求導(三) 矩陣向量求導之微分法
在機器學習中的矩陣向量求導(二) 矩陣向量求導之定義法中，我們討論了定義法求解矩陣向量求導的方法，但是這個方法對於比較復雜的求導式子，中間運算會很復雜，同時排列求導出的結果也很麻煩。因此我們需要其他的一些求導方法。本文我們討論使用微分法來求解標量對向量的求導，以及標量對矩陣的求導 ...
機器學習中的向量求導規則
網上有一些向量求導的總結，把20多種情況一一考慮，很是麻煩，本文希望找出向量求導的基本法則。 向量求導與標量求導法則不同的是，向量的求導還要注意結果的排法問題。注意排法是因為當一個目標函數是多個成分相加時，如果不注意排法可能導致有些結果是行，有些是列，無法繼續進行運算。我總結的向量求導的基本推導 ...