在刷官方Tutorial的時候發現了一個用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解釋也是雲里霧里，於是在棧溢網看到了一篇解釋，並做了幾個實驗才算完全理解了這個函數。首先可以把這個函數理解為類型轉換函數，將一個不可訓練的類型Tensor轉換成可以訓練的類型parameter並將這個parameter綁定到這個module里面(net.parameter()中就有這個綁定的parameter，所以在參數優化的時候可以進行優化的)，所以經過類型轉換這個self.v變成了模型的一部分，成為了模型中根據訓練可以改動的參數了。使用這個函數的目的也是想讓某些變量在學習的過程中不斷的修改其值以達到最優化。
出現這個函數的地方
在
concat注意力機制中，權值
V是不斷學習的所以要是
parameter類型，不直接使用一個
torch.nn.Linear()可能是因為學習的效果不好。
通過做下面的實驗發現，
linear里面的
weight和
bias就是
parameter類型，且不能夠使用
tensor類型替換，還有
linear里面的
weight甚至可能通過指定一個不同於初始化時候的形狀進行模型的更改。
做的實驗
self.v被綁定到模型中了，所以可以在訓練的時候優化
作者：VanJordan
鏈接：https://www.jianshu.com/p/d8b77cc02410
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯系作者獲得授權並注明出處。