機器學習中的矩陣向量求導(五) 矩陣對矩陣的求導
在矩陣向量求導前4篇文章中，我們主要討論了標量對向量矩陣的求導，以及向量對向量的求導。本文我們就討論下之前沒有涉及到的矩陣對矩陣的求導，還有矩陣對向量，向量對矩陣求導這幾種形式的求導方法。 本文所有求導布局以分母布局為准，為了適配矩陣對矩陣的求導，本文向量對向量的求導也以分母布局 ...
原文：機器學習中的向量求導規則
網上有一些向量求導的總結，把 多種情況一一考慮，很是麻煩，本文希望找出向量求導的基本法則。 向量求導與標量求導法則不同的是，向量的求導還要注意結果的排法問題。注意排法是因為當一個目標函數是多個成分相加時，如果不注意排法可能導致有些結果是行，有些是列，無法繼續進行運算。我總結的向量求導的基本推導准則是 以f x 對向量求導為例 ： 先對f x 求向量分量的導數，也就是標量的導數，該導數可能是標量，也 ...
2012-11-09 15:18 2 7045 推薦指數：
相關推薦
機器學習中的矩陣向量求導(二) 矩陣向量求導之定義法
在機器學習中的矩陣向量求導(一) 求導定義與求導布局中，我們討論了向量矩陣求導的9種定義與求導布局的概念。今天我們就討論下其中的標量對向量求導，標量對矩陣求導, 以及向量對向量求導這三種場景的基本求解思路。 對於本文中的標量對向量或矩陣求導這兩種情況，如前文所說，以分母布局為默認 ...
機器學習中的矩陣向量求導(四) 矩陣向量求導鏈式法則
在機器學習中的矩陣向量求導(三) 矩陣向量求導之微分法中，我們討論了使用微分法來求解矩陣向量求導的方法。但是很多時候，求導的自變量和因變量直接有復雜的多層鏈式求導的關系，此時微分法使用起來也有些麻煩。需要一些簡潔的方法。 本文我們討論矩陣向量求導鏈式法則，使用該法則很多時 ...
機器學習中的矩陣向量求導(三) 矩陣向量求導之微分法
在機器學習中的矩陣向量求導(二) 矩陣向量求導之定義法中，我們討論了定義法求解矩陣向量求導的方法，但是這個方法對於比較復雜的求導式子，中間運算會很復雜，同時排列求導出的結果也很麻煩。因此我們需要其他的一些求導方法。本文我們討論使用微分法來求解標量對向量的求導，以及標量對矩陣的求導 ...
機器學習中的度量—— 向量距離
機器學習是時下流行AI技術中一個很重要的方向，無論是有監督學習還是無監督學習都使用各種“度量”來得到不同樣本數據的差異度或者不同樣本數據的相似度。良好的“度量”可以顯著提高算法的分類或預測的准確率，本文中將介紹機器學習中各種“度量”，“度量”主要由兩種，分別為距離、相似度和相關系數 ...
機器學習算法推導--矩陣求導中為何會有“轉置”？
機器學習算法推導--矩陣求導中為何會有“轉置”？ 之前學習神經網絡推導的時候，發現在有的求導上最后結果需要轉置，而有的不需要，很困惑： 淺層神經網絡反向傳播的困惑 正向傳播： 反向傳播： 這里為什么要對W進行轉置操作？為什么別處有的地方就沒有轉置操作？ 矩陣求導知識 ...
【轉】機器學習中的線性代數之矩陣求導
今天推導公式，發現居然有對矩陣的求導，狂汗--完全不會。不過還好網上有人總結了。吼吼，趕緊搬過來收藏備份。 基本公式：Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B ...