網絡訓練loss為nan的解決的辦法。

1、檢查輸入數據和target中是否有 nan 值。

　　np.any(np.isnan(x))

　　np.any(np.isnan(target))

2、減小loss

3、rnn中發生梯度爆炸，檢查參數值和參數梯度，截斷梯度。　

3.1 檢查梯度是否更新
for params in model.named_parameters():
    [name, param] = params

    if param.grad is not None:
        print(name, end='\t')
        print('weight:{}'.format(param.data.mean()), end='\t')
        print('grad:{}'.format(param.grad.data.mean()))

3.2 截斷梯度
torch.nn.utils.clip_grad_norm_(model.parameters(), 0.25)