創建tensor
x = torch.empty(*sizes) #創建一個未初始化的tensor（后面用torch.nn.init中的一些函數進行初始化）
>>> torch.empty(2, 3) tensor(1.00000e-08 * [[ 6.3984, 0.0000, 0.0000], [ 0.0000, 0.0000, 0.0000]])
x = torch.rand(5, 3) #返回一個范圍為[0,1)、size為5*3的矩陣
tensor([[0.3380, 0.3845, 0.3217],
[0.8337, 0.9050, 0.2650],
[0.2979, 0.7141, 0.9069],
[0.1449, 0.1132, 0.1375],
[0.4675, 0.3947, 0.1426]])
x = torch.zeros(5, 3, dtype=torch.long)
tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
x = torch.ones(5, 3, dtype=torch.double)
tensor([[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.]], dtype=torch.float64)
x = torch.tensor([5.5, 3]) #Construct a tensor directly from data
tensor([5.5000, 3.0000])
tensor運算
torch.mm(tensor1, tensor2, out=None) #tensor的矩陣乘法matrix multiplication
torch.mul(tensor1, tensor2, out=None) #tensor的點乘Hadamard product
tensor相關操作
x.size() #取tensor的size，返回的是tuple
z = x.view(-1, 8) #和reshape功能一樣，只是參數少了一層括號
x = x.clamp(min, max) #取最大最小值，和numpy.clip(a, a_min, a_max, out=None)類似
torch.max()
torch.max(Tensor) #對所有元素，取最大值，返回只有一個數的tensor
torch.max(input, dim, keepdim=False, out=None) #對dim維度上的元素取最大值，返回兩個tensor，第一個是dim上的最大值，第二個是最大值所在的位置(argmax)
torch.cat(seq, dim=0, out=None) #concatenate，功能和numpy.concatenate((a1, a2, ...), axis=0, out=None)一樣，格式也恰好一樣
一個技巧：inputs = torch.cat(inputs).view(len(inputs), 1, -1) #先cat再view（reshape）
torch.stack( (a,b,c) ,dim = 2) #建立一個新的維度，然后再在該緯度上進行拼接
torch.stack VS torch.cat：cat是在已有的維度上拼接，而stack是建立一個新的維度，然后再在該緯度上進行拼接。
用其實現 x.append(in_tensor) 的功能：先構造已經append好的x（此時x為list），然后x = torch.stack(x, dim = 0)
可參考 https://blog.csdn.net/Teeyohuang/article/details/80362756
torch.unsqueeze(input, dim, out=None) #給input（一個tensor）在dim維度上增加一個維度
>>> x = torch.tensor([1, 2, 3, 4]) >>> torch.unsqueeze(x, 0) tensor([[ 1, 2, 3, 4]]) >>> torch.unsqueeze(x, 1) tensor([[ 1], [ 2], [ 3], [ 4]])
b = a.numpy() #torch tensor轉numpy array
b = torch.from_numpy(a) #numpy array轉torch tensor（兩種轉都是沒有復制，而是直接引用的）
tensor_a , idx_sort = torch.sort(tensor_a, dim=0, descending=True) #tensor排序，返回排序后的tensor和下標
tensor求導
x = torch.ones(2, 2, requires_grad=True) #創建時設置requires_grad為True，將x看成待優化的參數（權重）
model.zero_grad() #將每個權重的梯度清零（因為梯度會累加）
optimizer.zero_grad() #當optimizer=optim.Optimizer(model.parameters())時，其與model.zero_grad()等效
loss.backward() #求導，即對loss進行back propagation
optimizer.step() #在back propagation后更新參數
定義神經網絡：
1. 定義網絡架構（模型的forward，通常用一個繼承自torch.nn.Module的類）
__init__()：將nn實例化（每一個nn都是一個類），參數自己定義
forward(self, x)：模型的forward，參數x為模型輸入
self.add_module("conv", nn.Conv2d(10, 20, 4)) # self.conv = nn.Conv2d(10, 20, 4) 和這個增加module的方式等價
torch.nn.Embedding(num_embeddings, embedding_dim, ...) #是一個矩陣類，里面初始化了一個隨機矩陣，矩陣的長是字典的大小，寬是用來表示字典中每個元素的屬性向量，向量的維度根據你想要表示的元素的復雜度而定。類實例化之后可以根據字典中元素的下標來查找元素對應的向量。
2. 定義輸入輸出
3. 定義loss（如果用nn需要實例化才定義，否則用functional直接在訓練中用）
4. 定義優化器
訓練：
1. 初始化，如model.zero_grad()將一些參數初始化為0
2. 准備好輸入
3. 將模型設置為train模式
4. 將模型forward
5. 計算loss和accuracy
6. back propagation並計算權重的梯度
7. 做validation
8. 打印Epoch、loss、acc、time等信息
（不一定所有步驟都有，可以看情況省略部分）
驗證或測試：
1. 准備好輸入
2. 將模型設置為eval模式
3. 將模型forward
4. 計算loss和accuracy
5. 打印loss、acc等信息
（train和test相比，主要多了bp相關的，包括zero_grad()和backward()等）
torch.max(input, dim, keepdim=False, out=None)