0 - inplace
在pytorch中，nn.ReLU(inplace=True)和nn.LeakyReLU(inplace=True)中存在inplace字段。該參數的inplace=True的意思是進行原地操作，例如：
- x=x+5是對x的原地操作
- y=x+5,x=y不是對x的原地操作
所以，如果指定inplace=True，則對於上層網絡傳遞下來的tensor直接進行修改，可以少存儲變量y，節省運算內存。
inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don’t see an error, it means that your use case is valid.
如果你使用了in-place operation而沒有報錯的話，那么你可以確定你的梯度計算是正確的。