前言
矩陣，向量的求導經常碰到和用到，但是老是忘記，在網上收集總結一下。
1.矩陣對元素的求導
矩陣對元素的求導比較簡單，就是對矩陣的每個元素分別進行求導。
\[若：Y= \begin{pmatrix} y_{11} &\cdots & y_{1n} \\\ \vdots &\cdots & \vdots \\\ y_{m1} &\cdots & y_{mn} \end{pmatrix} \]
\[則：{\partial{Y} \over \partial{x}}= \begin{pmatrix} \partial{y_{11}} \over \partial{x} &\cdots & \partial{y_{1n}} \over \partial{x} \\\ \vdots &\cdots & \vdots \\\ \partial{y_{m1}} \over \partial{x} &\cdots & \partial{y_{mn}} \over \partial{x} \end{pmatrix} \]
2.元素對矩陣求導
\[{ \partial{x} \over \partial{Y}}= \begin{pmatrix} \partial{x} \over \partial{y_{11}} &\cdots & \partial{x} \over \partial{y_{1n}} \\\ \vdots &\cdots & \vdots \\\ \partial{x} \over \partial{y_{m1}} &\cdots & \partial{x} \over \partial{y_{mn}} \end{pmatrix} \]
3.行向量對列向量求導
\[若：Y= \begin{bmatrix} y_{1} &\cdots & y_{n} \end{bmatrix}， X= \begin{bmatrix} x_{1} \\\ \vdots\\\ x_{m} \end{bmatrix} \]
\[則： { \partial{Y} \over \partial{X}}= \begin{pmatrix} \partial{y_1} \over \partial{x_{1}} &\cdots & \partial{y_n} \over \partial{x_{1}} \\\ \vdots &\cdots & \vdots \\\ \partial{y_1} \over \partial{x_{m}} &\cdots & \partial{y_n} \over \partial{x_{m}} \end{pmatrix} \]
4.行向量對行向量求導
\[若：Y= \begin{bmatrix} y_{1} &\cdots & y_{n} \end{bmatrix}， X= \begin{bmatrix} x_{1} & \cdots & x_{p} \end{bmatrix} \]
\[則得到一個超級大的行向量： { \partial{Y} \over \partial{X}}= \begin{bmatrix} \partial{Y} \over \partial{x_{1}} &\cdots & \partial{Y} \over \partial{x_{p}} \end{bmatrix} \]
5.列向量對列向量求導
\[若：Y^T= \begin{bmatrix} y_{1} &\cdots & y_{n} \end{bmatrix}， X^T= \begin{bmatrix} x_{1} & \cdots & x_{p} \end{bmatrix} \]
\[則得到一個超級大的列向量： { \partial{Y} \over \partial{X}}= \begin{bmatrix} \partial{Y} \over \partial{x_{1}} &\cdots & \partial{Y} \over \partial{x_{p}} \end{bmatrix}^T \]
6.矩陣對行向量求導\行向量對矩陣求導
\[若：Y= \begin{pmatrix} y_{11} &\cdots & y_{1n} \\\ \vdots &\cdots & \vdots \\\ y_{m1} &\cdots & y_{mn} \end{pmatrix} X= \begin{bmatrix} x_{1} & \cdots & x_{p} \end{bmatrix} \]
\[則： { \partial{Y} \over \partial{X}}= \begin{bmatrix} \partial{Y} \over \partial{x_{1}} &\cdots & \partial{Y} \over \partial{x_{p}} \end{bmatrix}^T\\\ { \partial{X} \over \partial{Y}}= \begin{pmatrix} \partial{X} \over \partial{y_{11}} &\cdots & \partial{X} \over \partial{y_{1n}} \\\ \vdots &\cdots & \vdots \\\ \partial{X} \over \partial{y_{m1}} &\cdots & \partial{X} \over \partial{y_{mn}} \end{pmatrix} \]
7.矩陣對列向量求導\列向量對矩陣求導
\[若：Y= \begin{pmatrix} y_{11} &\cdots & y_{1n} \\\ \vdots &\cdots & \vdots \\\ y_{m1} &\cdots & y_{mn} \end{pmatrix} X= \begin{bmatrix} x_{1} \\\ \vdots \\\ x_{p} \end{bmatrix} \]
\[則： { \partial{Y} \over \partial{X}}= \begin{pmatrix} \partial{y_1} \over \partial{X} &\cdots & \partial{y_n} \over \partial{X} \\\ \vdots &\cdots & \vdots \\\ \partial{y_1} \over \partial{X} &\cdots & \partial{y_n} \over \partial{X} \end{pmatrix}\\\ { \partial{X} \over \partial{Y}}= \begin{bmatrix} \partial{X_1} \over \partial{Y} \\\ \vdots \\\ \partial{X_p} \over \partial{Y} \end{bmatrix} \]
8.矩陣對矩陣求導
\[若：Y= \begin{bmatrix} y_{11} &\cdots & y_{1n} \\\ \vdots &\cdots & \vdots \\\ y_{m1} &\cdots & y_{mn} \end{bmatrix} = \begin{bmatrix} y_{1} \\\ \vdots \\\ y_{m} \end{bmatrix}; X= \begin{bmatrix} x_{11} &\cdots & x_{1q} \\\ \vdots &\cdots & \vdots \\\ x_{p1} &\cdots & x_{pq} \end{bmatrix} = \begin{bmatrix} x_{1} & \cdots & x_{m} \end{bmatrix} \]
則:
\[{ \partial{Y} \over \partial{X}}= \begin{bmatrix} \partial{Y} \over \partial{x_1} & \cdots & \partial{Y} \over \partial{x_q} \end{bmatrix} = \begin{bmatrix} \partial{y_1} \over \partial{X} \\\ \vdots \\\ \partial{y_m} \over \partial{X} \end{bmatrix} = \begin{bmatrix} \partial{y_1} \over \partial{x_1} & \cdots & \partial{y_1} \over \partial{x_q} \\\ \vdots & \cdots & \vdots \\\ \partial{y_m} \over \partial{x_1} & \cdots & \partial{y_m} \over \partial{x_q} \end{bmatrix} \]