標量 $y$ 對 $n$ 維列向量 $x = (x_{1},x_{2},\cdots,x_{n})^{T}$ 求導，其結果還是一個 $n$ 維列向量：
$$\frac{d y}{d x} = \begin{bmatrix}
\frac{\partial y}{\partial x_{1}} \\
\frac{\partial y}{\partial x_{2}} \\
\cdots \\
\frac{\partial y}{\partial x_{n}}
\end{bmatrix}$$
標量 $y$ 對 $n$ 維行向量 $x^{T} = (x_{1},x_{2},\cdots,x_{n})$ 求導，其結果還是一個 $n$ 維行向量：
$$\frac{d y}{d x^{T}} = \begin{bmatrix}
\frac{\partial y}{\partial x_{1}} & \frac{\partial y}{\partial x_{2}} & \cdots & \frac{\partial y}{\partial x_{n}}
\end{bmatrix}$$
形狀規則：標量 $y$ 對向量 $x$ 的每個元素求導，然后將各個求導結果按向量 $x$ 的形狀排列。
1. 標量對列向量 $x$ 求導的應用
1）$f(x) = \beta^{T}x$，$\beta = (\beta_{1},\beta_{2},...,\beta_{n})^{T}, x = (x_{1},x_{2},...,x_{n})^{T}$，求 $\frac{d f}{d x}$。
標量對列向量求偏導，求得的也是一個列向量，結果向量的每個元素為 $f$ 對自變量每個坐標軸的偏導數。
將函數 $f(x)$ 展開得：
$$f(x) = \sum_{i = 1}^{n} \beta_{i}x_{i}$$
則有
$$\frac{\partial f}{\partial x_{k}} = \beta_{k}$$
所以
$$\frac{d f}{d x} = \begin{bmatrix}
\frac{\partial f}{\partial x_{1}} \\
\frac{\partial f}{\partial x_{2}} \\
\cdots \\
\frac{\partial f}{\partial x_{n}}
\end{bmatrix} = \begin{bmatrix}
\beta_{1} \\
\beta_{2} \\
\cdots \\
\beta_{n}
\end{bmatrix} = \beta$$
2）二次型 $f(x) = x^{T}Ax$，其中 $A = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\cdots & \cdots & \cdots & \cdots \\
a_{n1} & a_{n2} & \cdots & a_{nn}
\end{bmatrix}$，現在我們要求 $\frac{d f}{d x}$。
標量對列向量求偏導，求得的也是一個列向量，結果向量的每個元素為 $f$ 對自變量每個坐標軸的偏導數。
一個二次型本身是一個多項式，可以寫為如下形式：
$$f(x_{1},x_{2},...,x_{n}) = \sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}x_{i}x_{j}$$
現在相對 $x_{k}$ 求偏導，它的偏導數由以下四種不重疊的情況組成
a. $i \neq k, j \neq k$：
這種情況多項式中沒有未知數 $x_{k}$，所以這部分偏導數為 $0$
$$\nabla 1 = 0$$
b. $i \neq k, j = k$：
$$\nabla 2 = \sum_{i \neq k}^{}a_{ik}x_{i}$$
c. $i = k, j \neq k$：
$$\nabla 3 = \sum_{j \neq k}^{}a_{kj}x_{j}$$
d. $i = k, j = k$：
$$\nabla 4 = 2a_{kk}x_{k}$$
綜上可得：
$$\frac{\partial f}{\partial x_{k}} = \sum_{i \neq k}^{}a_{ik}x_{i} + \sum_{j \neq k}^{}a_{kj}x_{j} + 2a_{kk}x_{k} \\
= \sum_{i=1}^{n} a_{ik}x_{i} + \sum_{j = 1}^{n}a_{kj}x_{j}$$
於是有
$$\frac{d f}{d x} = \begin{bmatrix}
\frac{\partial f}{\partial x_{1}} \\
\frac{\partial f}{\partial x_{2}} \\
\cdots \\
\frac{\partial f}{\partial x_{n}}
\end{bmatrix} =
\begin{bmatrix}
\sum_{i=1}^{n} a_{i1}x_{i} + \sum_{j = 1}^{n}a_{1j}x_{j} \\
\sum_{i=1}^{n} a_{i2}x_{i} + \sum_{j = 1}^{n}a_{2j}x_{j} \\
\cdots \\
\sum_{i=1}^{n} a_{in}x_{i} + \sum_{j = 1}^{n}a_{nj}x_{j}
\end{bmatrix} =
\begin{bmatrix}
\sum_{i=1}^{n} a_{i1}x_{i} \\
\sum_{i=1}^{n} a_{i2}x_{i} \\
\cdots \\
\sum_{i=1}^{n} a_{in}x_{i}
\end{bmatrix} + \begin{bmatrix}
\sum_{j = 1}^{n}a_{1j}x_{j} \\
\sum_{j = 1}^{n}a_{2j}x_{j} \\
\cdots \\
\sum_{j = 1}^{n}a_{nj}x_{j}
\end{bmatrix}$$
進一步得：
$$\frac{d f}{d x} =
\begin{bmatrix}
\sum_{i=1}^{n} a_{i1}x_{i} \\
\sum_{i=1}^{n} a_{i2}x_{i} \\
\cdots \\
\sum_{i=1}^{n} a_{in}x_{i}
\end{bmatrix} + \begin{bmatrix}
\sum_{j = 1}^{n}a_{1j}x_{j} \\
\sum_{j = 1}^{n}a_{2j}x_{j} \\
\cdots \\
\sum_{j = 1}^{n}a_{nj}x_{j}
\end{bmatrix}
= \begin{bmatrix}
a_{11} & a_{21} & \cdots & a_{n1} \\
a_{12} & a_{22} & \cdots & a_{n2} \\
\cdots & \cdots & \cdots & \cdots \\
a_{1n} & a_{2n} & \cdots & a_{nn}
\end{bmatrix} \begin{bmatrix}
x_{1} \\
x_{2} \\
\cdots \\
x_{n}
\end{bmatrix} + \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\cdots & \cdots & \cdots & \cdots \\
a_{n1} & a_{n2} & \cdots & a_{nn}
\end{bmatrix} \begin{bmatrix}
x_{1} \\
x_{2} \\
\cdots \\
x_{n}
\end{bmatrix} \\
= Ax + A^{T}x = 2Ax$$
3）$f(x) = x^{T}x$，$x = (x_{1},x_{2},...,x_{n})^{T}$，求 $\frac{d f}{d x}$。
這個可以換個形式，即 $f(x) = x^{T}Ex$，這樣就變成了一個二次型，利用二次型對列向量求導公式可得
$$\frac{df}{dx} = 2Ex = 2x$$