PyTorch中的矩陣乘法

本文轉載自查看原文 2022-04-13 16:22 2004

1. 二維矩陣乘法 $torch.mm()$

$torch.mm(mat1, mat2, out=None)$ , 其中 $mat1 (n \times m)$ , $mat2 (m \times d)$ , 輸出 $out$ 的維度是 $(n \times d)$ 。該函數 $torch.mm()$ 一般只用來計算兩個二維矩陣的矩陣乘法，而且不支持broadcast操作。

2. 三維帶Batch矩陣乘法 $torch.bmm()$

由於神經網絡訓練一般采用mini-batch，經常輸入的是三維帶batch矩陣，所以提供 $torch.bmm(bmat1, bmat2, out=None)$ ,其中 $bmat1(B \times n \times m)$ , $bmat2(B \times m \times d)$ , 輸出 $out$ 的維度是 $(B \times n \times d)$ 。該函數的兩個輸入必須是三維矩陣且第一維相同（表示Batch維度），不支持broadcast操作。

3. "混合"矩陣乘法 $torch.matmul()$

$torch.matmul(input, other, out=None)$ 支持broadcast操作，使用起來比較復雜，建議參考pytorch官方文檔。

特別，針對多維數據 $matmul()$ 乘法，我們可以認為該 $matmul()$ 乘法使用使用兩個參數的后兩個維度來計算，其他的維度都可以認為是batch維度。假設兩個輸入的維度分別是 $input (1000 \times 500 \times 99 \times11)$ , $other (500 \times 11 \times 99)$ ，那么我們可以認為 $torch.matmul(input, other)$ 乘法首先是進行后兩位矩陣乘法得到 $(99 \times 11) \times (11 \times 99) \Rightarrow (99 \times 99)$ ，然后分析兩個參數的batch size分別是 $(1000 \times 500)$ 和 $500$ , 可以廣播成為 $(1000 \times 500)$ ，因此最終輸出的維度是 $（1000 \times 500 \times 99 \times 99)$ 。

4. 矩陣逐元素(Element-wise)乘法 $torch.mul()$

$torch.mul(mat1, other, out=None)$ ，其中 $other$ 乘數可以是標量也可以是任意維度的矩陣，只要滿足最終相乘是可以broadcast的即可,即該操作是支持broadcast操作的。

$other$ 是標量: 例如 $mat1$ 是維度任意的矩陣, $other=\alpha$ (一個標量), 那么輸出一個矩陣，其中每個值是 $mat1$ 中原值乘以 $\alpha$ , 維度保持不變。

$other$ 是矩陣: 只要 $other$ 與 $mat1$ 的維度可以滿足broadcast條件，就可以進行逐元素乘法操作，例如：

1 import torch
2 A = torch.randn(2,3,4)
3 B = torch.randn(3, 4)
4 print (torch.mul(A,b).shape) # 輸出 torch.size([2,3,4)

5. 兩個乘法操作符@和 $*$

簡單來說， @ 操作符可以執行矩陣乘法操作，類似 $torch.mm(), torch.bmm(), torch.matmul()$ ; 而 $*$ 乘法操作可以執行逐元素矩陣乘法，使用方法類似 $torch.mul()$ 。

 1 import torch
 2 
 3 x=torch.ones(3,2)
 4 print(x)
 5 
 6 y=torch.ones(3,2)+2
 7 print(y)
 8 
 9 z=torch.ones(2,1)
10 print(z)
11 
12 print(x*y@z)

參考：隨筆1: PyTorch中矩陣乘法總結 - 知乎 (zhihu.com)

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 pytorch矩陣乘法 PyTorch矩陣乘法『PyTorch』矩陣乘法總結 numpy中數組(矩陣)的乘法矩陣的乘法矩陣乘法關於python中的矩陣乘法（array和mat類型） Python Numpy中的幾個矩陣乘法 Python中的幾種矩陣乘法（轉）有關CUBLAS中的矩陣乘法函數