矩陣及矩陣范數求導

矩陣求導公式

基本公式：
Y = A * X --> DY/DX = A^T,

Y = X * A --> DY/DX = A

Y=X^T*A--> DY/DX = A

Y = A * X--> DY^T/DX = A^T

Y = A * X -->DY/DX^T = (DY^T/DX)^T=A

Y = A^T * X * B --> DY/DX = A * B^T

Y = A^T * X^T * B --> DY/DX = B * A^T

乘積的導數： 
d(f*g)/dx=(df^T/dx)g+(dg/dx)f^T

dY/dX^T = (dY^T/dX)^T

dY^T/dX = (dY/dX^T)^T

 

1.矩陣Y對標量x求導：

相當於每個元素求導數后轉置一下，注意M×N矩陣求導后變成N×M了

    Y = [y(ij)] --> dY/dx = [dy(ji)/dx]

2. 標量y對列向量X求導：

注意與上面不同，這次括號內是求偏導，不轉置，對N×1向量求導后還是N×1向量

y = f(x1,x2,..,xn) --> dy/dX =(Dy/Dx1,Dy/Dx2,..,Dy/Dxn)^T

3. 行向量Y對列向量X求導：

注意1×M向量對N×1向量求導后是N×M矩陣。

將Y的每一列對X求偏導，將各列構成一個矩陣。

重要結論：

dX^T/dX = I

d(AX)^T/dX = A^T

4. 列向量Y對行向量X^T求導：

轉化為行向量Y^T對列向量X的導數，然后轉置。

注意M×1向量對1×N向量求導結果為M×N矩陣。

dY/dX^T = (dY^T/dX)^T

5. 向量積對列向量X求導運算法則：

注意與標量求導有點不同。

d(UV^T)/dX = (dU/dX)V^T + U(dV^T/dX)

d(U^TV)/dX = (dU^T/dX)V + (dV^T/dX)U

重要結論：

d(X^TA)/dX = (dX^T/dX)A + (dA^T/dX)X = IA + 0X = A

d(AX)/dX^T = (d(X^TA^T)/dX)^T = (A^T)^T = A

d(X^TAX)/dX = (dX^T/dX)AX + (d(AX)^T/dX)X = AX + A^TX

6. 矩陣Y對列向量X求導：

將Y對X的每一個分量求偏導，構成一個超向量。

注意該向量的每一個元素都是一個矩陣。

7. 矩陣積對列向量求導法則：

d(UV)/dX = (dU/dX)V + U(dV/dX)

重要結論：

d(X^TA)/dX = (dX^T/dX)A + X^T(dA/dX) = IA + X^T0 = A

8. 標量y對矩陣X的導數：

類似標量y對列向量X的導數，

把y對每個X的元素求偏導，不用轉置。

dy/dX = [ Dy/Dx(ij) ]

重要結論：

y = U^TXV = ΣΣu(i)x(ij)v(j) 於是 dy/dX = [u(i)v(j)] = UV^T

y = U^TX^TXU 則 dy/dX = 2XUU^T

y = (XU-V)^T(XU-V) 則 dy/dX = d(U^TX^TXU - 2V^TXU + V^TV)/dX = 2XUU^T -2VU^T + 0 = 2(XU-V)U^T

9. 矩陣Y對矩陣X的導數：

將Y的每個元素對X求導，然后排在一起形成超級矩陣。

10.乘積的導數

d(f*g)/dx=(df^T/dx)g+(dg/dx)f^T

結論

d(x^TAx)=(d(x^TT)/dx)Ax+(d(Ax)/dx)(x^TT)=Ax+A^Tx  （注意：^TT是表示兩次轉置）

轉自：https://blog.csdn.net/u010025211/article/details/51646739

 https://blog.csdn.net/txwh0820/article/details/46392293