雅可比行列式【1】定義及一些推導

最近在做應用多元統計的學習的時候再一次遇到了雅可比矩陣這個東西，發現完全想不起來這是什么東西，只記得學習高代和概率論的時候背過這個公式。學數學分析的時候也沒有好好學習向量微積分的知識。今天跑步的時候想起一句話：”所有命運饋贈的禮物，其實早已標好了價格“。這個風格項式從英文翻譯過來的，而我覺得將”價格“用”代價“一詞來代替會更加合適。

一點一滴的積累都是有意義的，不知道何時就會用得上，所以一定要對知識充滿敬畏之心。曾經靠僥幸度過的困難，將來一定會找到你，並且會讓你付出更多不可預知的代價。

用標准流水賬的方式，我們先來討論雅可比矩陣從何而來，再來明確的定義它是什么，最后我們放出一些大家喜聞樂見的結論來結尾。

一、何為雅可比行列式

(例一)

我沒記錯的話，理工科的學生在高等數學2、數學分析2學習了一定的重積分之后，一定會遇到二重積分的被積函數中含有\(x^2+y^2\)時將直角坐標系轉化為極坐標系會簡化計算的結論，即：

\[\int_b^a\int_c^df(x,y)dxdy=\int_\alpha^\beta d\theta\int_{r_1(\theta)}^{r_2(\theta)}f(r\cos{\theta},r\sin{\theta})rdr \]

這里其實就存在一個坐標變換的運算，而這個變換的行列式正式雅可比行列式：

\[\iint f(x,y)dxdy=\iint f(x(u,v),y(u,v))\left|J(u,v)\right|dudv\\ |J(u,v)|=\left|\frac{\partial(x,y)}{\partial(u,v)} \right| \]

（例二）

同樣，在多元統計分析中，如果度過我之前的文章的讀者，一定會對我們通過服從標准正態分布的隨機變量的線性組合來求一般多維正態隨機向量聯合概率密度函數的時候，關於\((x\to u)\)的變換印象深刻，即設\(X\sim N_p(\mu,\Sigma)，\Sigma>0\)，則：

由\(X=AU+\mu\),則\(J(x\to u)\)為：

\[\begin{align} J(x\to u)&=\left[\frac{\partial x'}{\partial u}\right]_+\\ &= \left[ \begin{array}{ccc} \frac{\partial x_1}{\partial u_1}&\dots&\frac{\partial x_p}{\partial u_1}\\ \vdots&&\vdots\\ \frac{\partial x_1}{\partial u_p}&\dots&\frac{\partial x_p}{\partial u_p}\\ \end{array} \right]\\ &=|A'|_+\\ &=|AA'|^{1/2}=|\Sigma|^{1/2} \end{align} \]

因為\(\Sigma>0,rank(\Sigma)=p\)所以\(\exist A_{p\times p}\)為非奇異方陣，使得\(\Sigma=A'A\)並且滿足\(X=AU+\mu\),其中\(U_i\)相互獨立同\(N(0,1)\)分布,則

\[\begin{align} f_X(x)=&\frac1{(2\pi)^{p/2}}exp\{-\frac12u'u\}J(u\to x)\\ =&\frac1{(2\pi)^{p/2}}exp\{-\frac12[A^{-1}(x-\mu)]'[A^{-1}(x-\mu)]\}\frac1{J(x\to u)}\\ =&\frac1{(2\pi)^{p/2}|\Sigma|^{1/2}}exp\{-\frac12(x-\mu)'\Sigma^{-1}(x-\mu)\} \end{align} \]

故：

\[f(x)=\frac1{(2\pi)^{p/2}|\Sigma|^{1/2}}exp\{-\frac12(x-\mu)'\Sigma^{-1}(x-\mu)\} \]

• 綜上所述，我們可以得出一個初步的認識，那就是對於二維的坐標，我們似乎可以通過雅可比行列式這個東西，對坐標進行一個變換，使之適應題目當前的狀態，第二個例子理解起來是相對困難的，但卻給了我們一個很好的啟發，就是雅克比行列式可以推廣到\(n\)維的情況，而且形式並沒有變得很復雜。

於是順着這個思維，我們首先引入一個新的概念，仿射變換。

1.2- 仿射變換

仿射變換（affine transformation）是一種我們很熟悉的變換：

設\(A_{n\times n}=(a_{ij})\),\(b=\mathbb{I_n}\otimes b_i，(i=1,2,\dots,n)\)，則定義於\(\R^n\)的仿射變換有如下形式：

\[T(x)=Ax+b \]

在一元的情況下我們很容易發現，其實仿射變換就是一個\((x\to y)\)的變換。而且，仿射變換有一個極其重要的性質即： 任一直線經仿射變換的像仍是一直線，而且直線上各點之間的距離比例維持不變。（共線不變性，比例不變性）。

在此基礎上我們假設存在一個映射,對於\(x=(x_1,\dots,x_n)'\)有：

\[F:\R^n\to\R^m\rightrightarrows F(x)= \left[ \begin{array}{c} f_1(x_1,\dots,x_n)\\ \vdots\\ f_m(x_1,\dots,x_n) \end{array} \right] \]

由於對於每一個\(f_i:\R^n\to\R\),我們可以推廣單變量時的線性擬合，即令\(T:\R^n\to\R^m\)為一個仿射變換，表示如下：

\[T(x)=Ax+b \]

其中\(A_{m\times n},b\in\R^m\),則該矩陣即為雅可比 Jacobian 矩陣。

二、雅可比行列式的定義

2.1- 向量函數可導性

由上一節我們定義過一個仿射變換\(T(x)=Ax+b\)可以近似地表示\(F(x)\),即\(T(x)\to F(x_0)\ (x\to x_0)\),即：

\[\begin{align} T(x)&=Ax+b\\ F(x_0)&=Ax_0+b\\ \therefore T(x)=&A(x-x_0)+F(x_0) \end{align} \]

若存在一個矩陣\(A\)使得仿射變換在某點最優近似於向量函數，那么下式應該成立：

\[\lim_{x\to p}\frac{(F(x)-F(x_0))-A(x-x_0)}{||x-p||}=O \]

我們可以說\(F:\R^n\to\R^m\)在\(x_0\)可導。

若其在\(x_0\)點可導，那么\(A\)是由\(x_0\)唯一決定的，事實上，考慮\(\R^n\)的標准基\(\{e_1,\dots,e_n\}\),設\(h\)為一極小數:

\[\lim_{h\to0}\frac{F(x_0+he_j)-F(x_0)-A(he_j)}{h}=0 \]

因為\(A(he_j)=h(Ae_j)\),則

\[\begin{align} \lim_{h\to0}\frac{F(x_0+he_j)-F(x_0)}{h}&=Ae_j\\ 等號右邊等於矩陣A的第j列,\frac{\partial F}{\partial x_j} &= \left( \begin{array}{c} \frac{\partial f_1}{\partial x_j}(x_0)\\ \frac{\partial f_2}{\partial x_j}(x_0)\\ \vdots\\ \frac{\partial f_m}{\partial x_j}(x_0) \end{array} \right) \end{align} \]

因此：

\[A=\left[ \begin{array}{ccc} \frac{\partial f_1}{\partial x_1}(x_0)&\dots&\frac{\partial f_1}{\partial x_n}(x_0)\\ \vdots&&\vdots\\ \frac{\partial f_m}{\partial x_1}(x_0)&\dots&\frac{\partial f_m}{\partial x_n}(x_0)\\ \end{array} \right]_{m\times n} \]

這個矩陣即稱為向量函數\(F\)在\(x_0\)的

Jacobian矩陣或導數矩陣(derivative matrix)，記為 \(J(x_0)\)。因此，可導函數\(F\)在\(x_0\)的最佳仿射近似是

\[T(x)=F(x_0)+J(x_0)(x-x_0) \]

對於（例一）中極坐標與卡式坐標的轉換：

\[\begin{cases} x=r\cos{\theta}\\ y=r\sin{\theta} \end{cases} \]

於是：

\[\begin{align} \frac{dx}{dt}= \left( \begin{array}{c} \frac{dx}{dt}\\ \frac{dy}{dt} \end{array} \right) =&\left( \begin{array}{c} \frac{\partial x}{\partial r}\frac{\partial r}{\partial t}+\frac{\partial x}{\partial \theta}\frac{\partial \theta}{\partial t}\\ \frac{\partial y}{\partial r}\frac{\partial r}{\partial t}+\frac{\partial y}{\partial \theta}\frac{\partial \theta}{\partial t} \end{array} \right)\\ =&\left( \begin{array}{cc} \frac{\partial x}{\partial r}&\frac{\partial x}{\partial \theta}\\ \frac{\partial y}{\partial r}&\frac{\partial y}{\partial \theta} \end{array} \right)\left( \begin{array}{c} \frac{dr}{dt}\\ \frac{d\theta}{dt} \end{array} \right)\\ =&J(r,\theta)\frac{du}{dt} \end{align} \]