轉自： https://blog.csdn.net/perfect2011/article/details/120255629
pytorch 和tensorflow 中最重要的概念就是tensor了，tensorflow 這個框架的名字中很直白，就是tensor的流動，
所以學習深度學習的第一課就是得搞懂tensor到底是個什么東西。
1.tensor到底是啥
tensor 即“張量”。實際上跟numpy數組、向量、矩陣的格式基本一樣。但是是專門針對GPU來設計的，可以運行
在GPU上來加快計算效率。
在PyTorch中，張量Tensor是最基礎的運算單位，與NumPy中的NDArray類似，張量表示的是一個多維矩陣。不同
的是，PyTorch中的Tensor可以運行在GPU上，而NumPy的NDArray只能運行在CPU上。由於Tensor能在GPU上
運行，因此大大加快了運算速度。
一個可以運行在gpu上的多維數據
x = torch.zeros(5)
2.tensor的創建
tensor 概念再怎么高級也只是一個數據結構，一個類，怎么創建這個對象，有下面幾種方式。
直接創建
pytorch 提供的創建tensor的方式
torch.tensor(data, dtype=None, device=None,requires_grad=False)
data - 可以是list, tuple, numpy array, scalar或其他類型
dtype - 可以返回想要的tensor類型
device - 可以指定返回的設備
requires_grad - 可以指定是否進行記錄圖的操作，默認為False
快捷方式創建
t1 = torch.FloatTensor([[1,2],[5,6]])
從numpy中獲得數據
numpy是開發中常用的庫，所以怎么將numpy中的數據給到tensor中，這個pytorch也提供了接口，很方便
torch.from_numpy(ndarry)
注：生成返回的tensor會和ndarry共享數據，任何對tensor的操作都會影響到ndarry,反之亦然
內置的tensor創建方式
torch.empty(size)返回形狀為size的空tensor
torch.zeros(size)全部是0的tensor
torch.zeros_like(input)返回跟input的tensor一個size的全零tensor
torch.ones(size)全部是1的tensor
torch.ones_like(input)返回跟input的tensor一個size的全一tensor
torch.arange(start=0, end, step=1)返回一個從start到end的序列，可以只輸入一個end參數，就跟python的range()
一樣了。實際上PyTorch也有range()，但是這個要被廢掉了，替換成arange了
torch.full(size, fill_value)這個有時候比較方便，把fill_value這個數字變成size形狀的張量
torch.randn(5) 隨機一個生成一個tensor
3、tensor轉換
tensor數據的轉換在開發中也是常用的，看下常用的兩種轉換方式
tensor 轉為numpy
a = torch.ones(5) print(a) b = a.numpy() print(b)
tensor 轉為list
data = torch.zeros(3, 3) data = data.tolist() print(data)
4、張量的運算
維度提升
tensor的broadcasting是不同維度之間進行運算的一種手段，和不同的數據類型進行運算時的原則差不多，比如整型和
float 進行運算的時候，將數據往精度更高的數據類型進行提升，tensor的維度擴張也是類似。
遍歷所有的維度，從尾部維度開始，每個對應的維度大小要么相同，要么其中一個是 1，要么其中一個不存在。不存在
則擴展當前數據，可以看到下圖紅框部分，就數據進行了擴展.
a = torch.zeros(2, 3) b = torch.ones(3) print(a) print(b) print(a + b)
驗證下結果，可以看到最后的結果都是1：
和不同數據類型相加時精度提升一個道理，這里是維度的提升。
加法
y = t.rand(2, 3) # 使用[0，1]均勻分布構建矩陣 z = t.ones(2, 3) # 2x3 的全 1 矩陣 # 3 中加法操作等價 print(y + z) ### 加法1 t.add(y, z) ### 加法2 減法 a = t.randn(2, 1) b = t.randn(2, 1) print(a) ### 等價操作 print(a - b) print(t.sub(a, b)) print(a) ### sub 后 a 沒有變化
乘法
矩陣的乘法大學的時候都學過，我們簡單復習下，交叉相乘，理解原理就行，因為多維度的矩陣乘法更復雜，還是
pytorch提供了支持
t.mul(input, other, out=None)：矩陣乘以一個數 t.matmul(mat, mat, out=None)：矩陣相乘 t.mm(mat, mat, out=None)：基本上等同於 matmul a=torch.randn(2,3) b=torch.randn(3,2) ### 等價操作 print(torch.mm(a,b)) # mat x mat print(torch.matmul(a,b)) # mat x mat ### 等價操作 print(torch.mul(a,3)) # mat 乘以 一個數 print(a * 3)
其他的一些運算
pytorch還支持更多的運算，這些運算就不一一介紹了，在使用的時候測試一下就知道結果了
t.div(input, other, out=None)#：除法 t.pow(input, other, out=None)#：指數 t.sqrt(input, out=None)#：開方 t.round(input, out=None)#：四舍五入到整數 t.abs(input, out=None)#：絕對值 t.ceil(input, out=None)#：向上取整 t.clamp(input, min, max, out=None)#：把 input 規范在 min 到 max 之間，超出用 min 和 max 代替，可理解為削尖函數 t.argmax(input, dim=None, keepdim=False)#：返回指定維度最大值的索引
總結
tensor是深度學習的基礎，也是入門的，可以簡單的理解為一個多維的數據結構，並且內置了一些特殊運算。