机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中，我们主要讨论了标量对向量矩阵的求导，以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这几种形式的求导方法。 本文所有求导布局以分母布局为准，为了适配矩阵对矩阵的求导，本文向量对向量的求导也以分母布局 ...
原文：机器学习算法推导--矩阵求导中为何会有“转置”？
机器学习算法推导 矩阵求导中为何会有 转置 之前学习神经网络推导的时候，发现在有的求导上最后结果需要转置，而有的不需要，很困惑： 浅层神经网络反向传播的困惑 正向传播： 反向传播： 这里为什么要对W进行转置操作 为什么别处有的地方就没有转置操作 矩阵求导知识 思来想去，突然发现自己对矩阵求导似乎一无所知，遂有： 博主第一次参考的博客 https: blog.csdn.net u article d ...
2020-01-19 17:06 3 4407 推荐指数：
相关推荐
在算法中对矩阵转置的求导过程:
A矩阵的转置对A矩阵的偏导得到的结果是单位矩阵. dX'/dX = I d(AX)'/dX = A' ...
【转】机器学习中的线性代数之矩阵求导
今天推导公式，发现居然有对矩阵的求导，狂汗--完全不会。不过还好网上有人总结了。吼吼，赶紧搬过来收藏备份。 基本公式：Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B ...
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中，我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导，标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。 对于本文中的标量对向量或矩阵求导这两种情况，如前文所说，以分母布局为默认 ...
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中，我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。需要一些简洁的方法。 本文我们讨论矩阵向量求导链式法则，使用该法则很多时 ...
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中，我们讨论了定义法求解矩阵向量求导的方法，但是这个方法对于比较复杂的求导式子，中间运算会很复杂，同时排列求导出的结果也很麻烦。因此我们需要其他的一些求导方法。本文我们讨论使用微分法来求解标量对向量的求导，以及标量对矩阵的求导 ...
机器学习中的向量求导规则
网上有一些向量求导的总结，把20多种情况一一考虑，很是麻烦，本文希望找出向量求导的基本法则。 向量求导与标量求导法则不同的是，向量的求导还要注意结果的排法问题。注意排法是因为当一个目标函数是多个成分相加时，如果不注意排法可能导致有些结果是行，有些是列，无法继续进行运算。我总结的向量求导的基本推导 ...