在矩阵向量求导前4篇文章中，我们主要讨论了标量对向量矩阵的求导，以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这几种形式的求导方法。 　　　　本文所有求导布局以分母布局为准，为了适配矩阵对矩阵的求导，本文向量对向量的求导也以分母布局 ...

　　　　在机器学习中的矩阵向量求导(一) 求导定义与求导布局中，我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导，标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。 　　　　对于本文中的标量对向量或矩阵求导这两种情况，如前文所说，以分母布局为默认 ...

　　　　在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中，我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。需要一些简洁的方法。 　　　　本文我们讨论矩阵向量求导链式法则，使用该法则很多时 ...

　　　　在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中，我们讨论了定义法求解矩阵向量求导的方法，但是这个方法对于比较复杂的求导式子，中间运算会很复杂，同时排列求导出的结果也很麻烦。因此我们需要其他的一些求导方法。本文我们讨论使用微分法来求解标量对向量的求导，以及标量对矩阵的求导 ...

矩阵微分 http://www.iwenchao.com/mathematics/matrix-differential.html http://en.wikipedia.org/wiki ...

在标量、向量和矩阵的求导过程中一定要知道最后结果的形状。 这里总结几个常见的求导形式： 前言： 最基础最重要的，标量对向量求导和向量对标量求导，有两种方式，分子布局和分母布局，不同的方式都是对的，只是结果缺一个转置 1、矩阵乘以列向量，对列向量求导，形如 $\boldsymbol{z ...

原始矩阵 \[\begin{bmatrix} 1 & 3 & 4 \\ 5 & 6 & 9 \\ 2 & 7 & 8 \\ \end{bmatrix} \] 求一阶导数 \[\begin{bmatrix} 4 & ...