調參技巧
- 層疊LSTM的層時 盡量保持兩個隱藏層個數一致 收斂的快的多
- 兩層LSTM比一層好很多
- 激活函數很重要 relu通常效果比較好
-
學習率太大(0.02),記得要是0.001數量級的學習率，否則直接不收斂，因此學習率不要太大，越小越好
- 正則化參數
- L1正則化效果很差
- L2正則化 一般是0.01左右
- 這個參數影響不太 而且容易拖累模型訓練速度
-
Dropout
- 用了和正則一樣會嚴重拉低訓練速度和准確率
- 有一定的防止過擬合的作用 可以保證你訓練誤差和測試誤差不會相差太大
- 加一層比較好 參數在0.3到0.5之間
- 不加容易過擬合
- EPOCHS
- 往往剛開始表現好的最終表現也很好
- 輪數在15-20基本接近最好結果的99%
優化器
from tensorflow.keras import optimizers
常用optimizers.Adam ,Nadam 學習率的設置在0.001數量級