基礎數據類型

torch.Tensor是一種包含單一數據類型元素的多維矩陣。
目前在1.2版本中有9種類型。

pytorch數據類型

同python相比，pytorch沒有string類型；
由於pytorch是面向計算的，對於字符這種通常通過編碼下手；
怎樣用數字的形式去表示語言（字符串）： NLP -> one-hot 或 Embedding（Word2vec，glove）

判斷數據類型

打印數據類型：a.type()
打印的是基本的數據類型，沒有提供額外的信息：type(a)
合法性檢驗：isinstance(a, torch.FloatTensor)

In[2]: import torch
In[3]: a = torch.randn(2,3)       //兩維 ， 每個數字是由隨機的正態分布來初始化的，均值是0 方差是1
In[4]: a.type()                   // 方法一：打印數據類型
Out[4]: 'torch.FloatTensor'
In[5]: type(a)				  	  // 方法二：較少
Out[5]: torch.Tensor
In[6]: isinstance(a, torch.FloatTensor)		// 方法三：合法性檢驗
Out[6]: True

同一個tensor部署在cpu和gpu時的數據類型是不一樣的

In[7]: isinstance(a, torch.cuda.FloatTensor)
Out[7]: False
In[8]: a = a.cuda()
In[9]: isinstance(a, torch.cuda.FloatTensor)
Out[9]: True

標量 Dimension 0 / rank 0

1 2	In[12]: torch.tensor(1.3) Out[12]: tensor(1.3000)

loss 就是一個標量

查看標量的維度

len(a.shape)
a.dim()
len(a.size())

In[13]: a = torch.tensor(2.2)
In[14]: a.shape
Out[14]: torch.Size([])
In[15]: len(a.shape)
Out[15]: 0
In[16]: a.size()
Out[16]: torch.Size([])
In[17]: a.dim()
Out[17]: 0

常用向量

1維向量

torch.tensor([ 數據 ])
torch.FloatTensor(維度)
從numpy導入torch.from_numpy(data)

In[19]: torch.tensor([1.1])
Out[19]: tensor([1.1000])
In[20]: torch.tensor([1.1, 2.2])
Out[20]: tensor([1.1000, 2.2000])
In[21]: torch.FloatTensor(1)
Out[21]: tensor([0.])
In[22]: torch.FloatTensor(2)
Out[22]: tensor([-1.0842e-19,  1.8875e+00])
In[23]: import numpy as np
In[24]: data = np.ones(2)
In[25]: data
Out[25]: array([1., 1.])
In[26]: torch.from_numpy(data)
Out[26]: tensor([1., 1.], dtype=torch.float64)

dim為1的向量有 Bias

Linear Input 線性層的輸入

從0.4版本增加了標量的表示，以前是[0.3]來表示標量，但這樣語義上不太清晰。

1維的形狀如何得到

.size
.shape

幾個概念：

dim：指的是size/shape的長度

size/shape指的是具體的形狀

tensor指的是具體的數字

2維向量

In[30]: a = torch.randn(2,3)        
In[31]: a
Out[31]: 
tensor([[-0.1353,  0.9325, -1.7155],
        [-1.9443,  0.3485,  0.6418]])
In[32]: a.shape
Out[32]: torch.Size([2, 3])
In[33]: a.size(0)
Out[33]: 2
In[34]: a.size(1)
Out[34]: 3
In[35]: a.shape[1]
Out[35]: 3

常用於帶有batch的 Linear Input 例如 [4, 784] 4張784像素的圖片

3維向量

形狀：list(a.shape)

In[49]: a = torch.rand(1,2,3)     // 使用隨機的均勻分布
In[50]: a
Out[50]: 
tensor([[[0.4700, 0.7649, 0.7688],
         [0.1973, 0.5232, 0.0038]]])
In[51]: a.shape
Out[51]: torch.Size([1, 2, 3])
In[52]: a[0]      // 取第一個維度的第零號元素 [2,3]
Out[52]: 
tensor([[0.4700, 0.7649, 0.7688],
        [0.1973, 0.5232, 0.0038]])
In[53]: list(a.shape)
Out[53]: [1, 2, 3]

場景：NLP文字處理

RNN Input Batch 例如 W,F[10, 100] 一個句子由10個單詞構成，且每個單詞由100維向量表示

W,S,F[10, 20, 100] 20個句子，每個句子由10個單詞構成，且每個單詞由100維向量表示

4維向量

In[54]: a = torch.rand(2,3,28,28)             //隨即均勻化
In[55]: a
Out[55]: 
tensor([[[[0.2990, 0.3407, 0.0149,  ..., 0.7321, 0.9115, 0.4388],
          [0.2001, 0.0137, 0.1427,  ..., 0.5508, 0.4747, 0.2132],
          [0.0919, 0.7190, 0.0269,  ..., 0.9440, 0.5967, 0.4414],
          ...,
          [0.7014, 0.4306, 0.1627,  ..., 0.8383, 0.4709, 0.3334],
          [0.7733, 0.2284, 0.5533,  ..., 0.3841, 0.6881, 0.3352],
          [0.5796, 0.7640, 0.3492,  ..., 0.6319, 0.6660, 0.1536]],

         [[0.3840, 0.4825, 0.6113,  ..., 0.5034, 0.2546, 0.1246],
          [0.2549, 0.4116, 0.8511,  ..., 0.8956, 0.4064, 0.0360],
          [0.4601, 0.8654, 0.9965,  ..., 0.7325, 0.5524, 0.3354],
          ...,
          [0.0220, 0.1239, 0.6685,  ..., 0.6109, 0.7329, 0.2162],
          [0.1790, 0.0919, 0.0559,  ..., 0.6279, 0.9586, 0.4919],
          [0.8246, 0.1804, 0.6107,  ..., 0.5497, 0.6124, 0.1172]],

         [[0.4151, 0.1750, 0.6129,  ..., 0.1962, 0.3190, 0.0227],
          [0.2165, 0.9139, 0.3081,  ..., 0.7211, 0.2220, 0.1521],
          [0.7928, 0.9053, 0.7208,  ..., 0.9461, 0.2194, 0.5177],
          ...,
          [0.4514, 0.6893, 0.3093,  ..., 0.7236, 0.1157, 0.7789],
          [0.6290, 0.8666, 0.4240,  ..., 0.4480, 0.7474, 0.0391],
          [0.4798, 0.3155, 0.9216,  ..., 0.5462, 0.2013, 0.7234]]],


        [[[0.1887, 0.1911, 0.5820,  ..., 0.1653, 0.7776, 0.3725],
          [0.3350, 0.3595, 0.6138,  ..., 0.3139, 0.1971, 0.7547],
          [0.3334, 0.5563, 0.6428,  ..., 0.6337, 0.3126, 0.0349],
          ...,
          [0.9218, 0.2081, 0.9644,  ..., 0.1333, 0.1972, 0.1489],
          [0.9598, 0.0323, 0.7847,  ..., 0.8366, 0.9486, 0.1052],
          [0.2474, 0.6811, 0.1599,  ..., 0.2132, 0.0211, 0.4123]],

         [[0.6994, 0.0694, 0.3789,  ..., 0.2333, 0.3922, 0.5462],
          [0.5692, 0.1016, 0.0053,  ..., 0.4257, 0.2898, 0.3655],
          [0.9806, 0.3084, 0.0129,  ..., 0.8453, 0.6952, 0.6759],
          ...,
          [0.2060, 0.5261, 0.5321,  ..., 0.1070, 0.4960, 0.7185],
          [0.1417, 0.7306, 0.0398,  ..., 0.9186, 0.9080, 0.8449],
          [0.0294, 0.5325, 0.5534,  ..., 0.0995, 0.5660, 0.1330]],

         [[0.5168, 0.4303, 0.9170,  ..., 0.3214, 0.1818, 0.4606],
          [0.4073, 0.9889, 0.2090,  ..., 0.2702, 0.9984, 0.3591],
          [0.2428, 0.7390, 0.6293,  ..., 0.3361, 0.6701, 0.1649],
          ...,
          [0.7242, 0.7595, 0.5713,  ..., 0.3498, 0.6220, 0.9937],
          [0.0988, 0.9972, 0.5013,  ..., 0.9467, 0.6382, 0.4678],
          [0.7906, 0.0443, 0.1911,  ..., 0.2179, 0.5613, 0.8539]]]])
In[56]: a.shape
Out[56]: torch.Size([2, 3, 28, 28])

In[56]: a.shape
Out[56]: torch.Size([2, 3, 28, 28])
In[57]: a.numel()          //number of element 2*3*28*28  tensor占用內存的數量
Out[57]: 4704              
In[58]: a.dim()
Out[58]: 4

場景： CNN

[b, c, h, w] b：幾張照片 c：通道 w：寬 h：高度

PS：在我們學習的過程中，一定要結合着物理意義去學習，就比如說我創建一個 [4,3,28,28] 的向量，這個向量有什么含義？當我們把向量進行matmul(矩陣相乘) 后，又有什么含義？不僅僅是為學習工具而去學習，而要時刻明白我這樣做能達到什么樣的效果。

Pytorch的基礎數據類型