廣播 (broadcasting)

廣播 (broadcasting)

飛槳（PaddlePaddle，以下簡稱Paddle）和其他框架一樣，提供的一些API支持廣播(broadcasting)機制，允許在一些運算時使用不同形狀的張量。 通常來講，如果有一個形狀較小和一個形狀較大的張量，希望多次使用較小的張量來對較大的張量執行一些操作，看起來像是較小形狀的張量的形狀，首先被擴展到和較大形狀的張量一致，然后做運算。 值得注意的是，這期間並沒有對較小形狀張量的數據拷貝操作。

飛槳的廣播機制主要遵循如下規則（參考 Numpy 廣播機制 ）：

1. 每個張量至少為一維張量
2. 從后往前比較張量的形狀，當前維度的大小要么相等，要么其中一個等於一，要么其中一個不存在

例如：

import paddle

 

x = paddle.ones((2, 3, 4))

y = paddle.ones((2, 3, 4))

# 兩個張量 形狀一致，可以廣播

z = x + y

print(z.shape)

# [2, 3, 4]

 

x = paddle.ones((2, 3, 1, 5))

y = paddle.ones((3, 4, 1))

# 從后向前依次比較：

# 第一次：y的維度大小是1

# 第二次：x的維度大小是1

# 第三次：x和y的維度大小相等

# 第四次：y的維度不存在

# 所以 x和y是可以廣播的

z = x + y

print(z.shape)

# [2, 3, 4, 5]

 

# 相反

x = paddle.ones((2, 3, 4))

y = paddle.ones((2, 3, 6))

# 此時x和y是不可廣播的，因為第一次比較 4不等於6

# z = x + y

# InvalidArgumentError: Broadcast dimension mismatch.

現在知道什么情況下兩個張量是可以廣播的，兩個張量進行廣播語義后的結果張量的形狀計算規則如下：

1. 如果兩個張量的形狀的長度不一致，那么需要在較小形狀長度的矩陣向前添加1，直到兩個張量的形狀長度相等。
2. 保證兩個張量形狀相等之后，每個維度上的結果維度就是當前維度上較大的那個。

例如:

import paddle

 

x = paddle.ones((2, 1, 4))

y = paddle.ones((3, 1))

z = x + y

print(z.shape)

# z的形狀: [2,3,4]

 

x = paddle.ones((2, 1, 4))

y = paddle.ones((3, 2))

# z = x + y

# ValueError: (InvalidArgument) Broadcast dimension mismatch.