原文:機器學習中的矩陣向量求導(五) 矩陣對矩陣的求導

在矩陣向量求導前 篇文章中,我們主要討論了標量對向量矩陣的求導,以及向量對向量的求導。本文我們就討論下之前沒有涉及到的矩陣對矩陣的求導,還有矩陣對向量,向量對矩陣求導這幾種形式的求導方法。 本文所有求導布局以分母布局為准,為了適配矩陣對矩陣的求導,本文向量對向量的求導也以分母布局為准,這和前面的文章不同,需要注意。 本篇主要參考了張賢達的 矩陣分析與應用 和長軀鬼俠的矩陣求導術 . 矩陣對矩陣求 ...

2019-05-27 17:19 12 11879 推薦指數:

查看詳情

機器學習矩陣向量求導(二) 矩陣向量求導之定義法

    在機器學習矩陣向量求導(一) 求導定義與求導布局,我們討論了向量矩陣求導的9種定義與求導布局的概念。今天我們就討論下其中的標量對向量求導,標量對矩陣求導, 以及向量向量求導這三種場景的基本求解思路。     對於本文中的標量對向量矩陣求導這兩種情況,如前文所說,以分母布局為默認 ...

Sat Apr 27 02:42:00 CST 2019 27 14221
機器學習矩陣向量求導(四) 矩陣向量求導鏈式法則

    在機器學習矩陣向量求導(三) 矩陣向量求導之微分法,我們討論了使用微分法來求解矩陣向量求導的方法。但是很多時候,求導的自變量和因變量直接有復雜的多層鏈式求導的關系,此時微分法使用起來也有些麻煩。需要一些簡潔的方法。     本文我們討論矩陣向量求導鏈式法則,使用該法則很多時 ...

Tue May 07 23:59:00 CST 2019 49 17743
機器學習矩陣向量求導(三) 矩陣向量求導之微分法

    在機器學習矩陣向量求導(二) 矩陣向量求導之定義法,我們討論了定義法求解矩陣向量求導的方法,但是這個方法對於比較復雜的求導式子,中間運算會很復雜,同時排列求導出的結果也很麻煩。因此我們需要其他的一些求導方法。本文我們討論使用微分法來求解標量對向量求導,以及標量對矩陣求導 ...

Tue Apr 30 03:42:00 CST 2019 56 13855
機器學習算法推導--矩陣求導為何會有“轉置”?

機器學習算法推導--矩陣求導為何會有“轉置”? 之前學習神經網絡推導的時候,發現在有的求導上最后結果需要轉置,而有的不需要,很困惑: 淺層神經網絡反向傳播的困惑 正向傳播: 反向傳播: 這里為什么要對W進行轉置操作?為什么別處有的地方就沒有轉置操作? 矩陣求導知識 ...

Mon Jan 20 01:06:00 CST 2020 3 4407
【轉】機器學習的線性代數之矩陣求導

今天推導公式,發現居然有對矩陣求導,狂汗--完全不會。不過還好網上有人總結了。吼吼,趕緊搬過來收藏備份。 基本公式:Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B ...

Sat Apr 14 05:49:00 CST 2018 0 3030
矩陣向量求導法則

矩陣微分 http://www.iwenchao.com/mathematics/matrix-differential.html http://en.wikipedia.org/wiki ...

Wed Jun 29 00:15:00 CST 2016 0 5236
矩陣向量求導

在標量、向量矩陣求導過程中一定要知道最后結果的形狀。 這里總結幾個常見的求導形式: 前言: 最基礎最重要的,標量對向量求導向量對標量求導,有兩種方式,分子布局和分母布局,不同的方式都是對的,只是結果缺一個轉置 1、矩陣乘以列向量,對列向量求導,形如 $\boldsymbol{z ...

Thu Dec 27 04:13:00 CST 2018 0 982
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM