向量變元的實值標量函數
$f(\boldsymbol{x}), \boldsymbol{x}=\left[x_{1}, x_{2}, \cdots, x_{n}\right]^{T}$
梯度向量形式
$\nabla_{x} f(\boldsymbol{x})=\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}}=\left[\frac{\partial f}{\partial x_{1}}, \frac{\partial f}{\partial x_{2}}, \cdots, \frac{\partial f}{\partial x_{n}}\right]^{T}$
四個法則
常數求導
與一元函數常數求導相同：結果為零向量
$\frac{\partial c}{\partial \boldsymbol{x}}=\mathbf{0}_{n \times 1}$
其中， $c$ 為常數。
線性法則
與一元函數求導線性法則相同：相加再求導等於求導再相加，常數提外面
$\frac{\partial\left[c_{1} f(\boldsymbol{x})+c_{2} g(\boldsymbol{x})\right]}{\partial \boldsymbol{x}}=c_{1} \frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}}+c_{2} \frac{\partial g(\boldsymbol{x})}{\partial \boldsymbol{x}}$
其中,$c_{1}, c_{2}$ 為常數。
乘積法則
與一元函數求導乘積法則相同：前導后不導 加 前不導后導
$\frac{\partial[f(\boldsymbol{x}) g(\boldsymbol{x})]}{\partial \boldsymbol{x}}=\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}} g(\boldsymbol{x})+f(\boldsymbol{x}) \frac{\partial g(\boldsymbol{x})}{\partial \boldsymbol{x}}$
商法則
與一元函數求導商法則相同：（上導下不導 減 上不導下導）除以（下的平方）：
$\frac{\partial\left[\frac{f(\boldsymbol{x})}{g(\boldsymbol{x})}\right]}{\partial \boldsymbol{x}}=\frac{1}{g^{2}(\boldsymbol{x})}\left[\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}} g(\boldsymbol{x})-f(\boldsymbol{x}) \frac{\partial g(\boldsymbol{x})}{\partial \boldsymbol{x}}\right]$
$\text { 其中, } g(\boldsymbol{x}) \neq 0 \text { 。 }$
幾個公式
公式 1
$\frac{\partial\left(\boldsymbol{x}^{T} \boldsymbol{a}\right)}{\partial \boldsymbol{x}}=\frac{\partial\left(\boldsymbol{a}^{T} \boldsymbol{x}\right)}{\partial \boldsymbol{x}}=\boldsymbol{a}$
其中， $\boldsymbol{a} $ 為常數向量， $\boldsymbol{a}=\left(a_{1}, a_{2}, \cdots, a_{n}\right)^{T}$ 。
公式 2
$\frac{\partial\left(\boldsymbol{x}^{T} \boldsymbol{x}\right)}{\partial \boldsymbol{x}}=2 \boldsymbol{x}$
公式 3
$\frac{\partial\left(\boldsymbol{x}^{T} \boldsymbol{A} \boldsymbol{x}\right)}{\partial \boldsymbol{x}}=\boldsymbol{A} x+\boldsymbol{A}^{T} \boldsymbol{x}$
其中，$\boldsymbol{A}_{n \times n}$ 是常數矩陣，$\boldsymbol{A}_{n \times n}=\left(a_{i j}\right)_{i=1, j=1}^{n, n}$
公式 4
$\frac{\partial\left(\boldsymbol{a}^{T} \boldsymbol{x} \boldsymbol{x}^{T} \boldsymbol{b}\right)}{\partial \boldsymbol{x}}=\boldsymbol{a} \boldsymbol{b}^{T} \boldsymbol{x}+\boldsymbol{b} \boldsymbol{a}^{T} \boldsymbol{x}$
其中，$ \boldsymbol{a}, \boldsymbol{b}$ 為常數向量，$ \boldsymbol{a}=\left(a_{1}, a_{2}, \cdots, a_{n}\right)^{T}, \boldsymbol{b}=\left(b_{1}, b_{2}, \cdots, b_{n}\right)^{T}$