pytorch, retain_grad查看非葉子張量的梯度

在用pytorch搭建和訓練神經網絡時，有時為了查看非葉子張量的梯度，比如網絡權重張量的梯度，會用到retain_grad()函數。但是幾次實驗下來，發現用或不用retain_grad()函數，最終神經網絡的准確率會有一點點差異。用retain_grad()函數的訓練結果會差一些。目前還沒有去探究 ...