1.dropout dropout是一種常用的手段，用來防止過擬合的，dropout的意思是在訓練過程中每次都隨機選擇一部分節點不要去學習，減少神經元的數量來降低模型的復雜度，同時增加模型的泛化能力。雖然會使得學習速度降低，因而需要合理的設置保留的節點數量。 在TensorFlow中 ...

一、基礎正則化函數 tf.contrib.layers.l1_regularizer(scale, scope=None) 返回一個用來執行L1正則化的函數,函數的簽名是func(weights). 參數: scale: 正則項的系數. scope: 可選的scope name ...

TensorFlow L2正則化 L2正則化在機器學習和深度學習非常常用，在TensorFlow中使用L2正則化非常方便，僅需將下面的運算結果加到損失函數后面即可 ...

本人人工智能初學者，現在在學習TensorFlow2.0，對一些學習內容做一下筆記。筆記中，有些內容理解可能較為膚淺、有偏差等，各位在閱讀時如有發現問題，請評論或者郵箱（右側邊欄有郵箱地址）提醒。 若有小伙伴需要筆記的可復制的html或ipynb格式文件，請評論區留下你們的郵箱，或者郵箱（右側 ...

正則化： 一般可以通過減少特征或者懲罰不重要特征的權重來緩解過擬合，但是我們通常不知道該懲罰那些特征的權重，而正則化就是幫助我們懲罰特征權重的，即特征的權重也會成為模型的損失函數一部分。可以理解為， 為了使用某個特征，我們需要付出loss的代價（loss為給權重weight加的一個loss ...

所謂過擬合，就是當一個模型過於復雜后，它可以很好的處理訓練數據的每一個數據，甚至包括其中的隨機噪點。而沒有總結訓練數據中趨勢。使得在應對未知數據時錯誤里一下變得很大。這明顯不是我們要的結果。 我們想 ...

tf.keras.regularizers下面有l1和l2正則化器，但是該正則化器的l2有點不一樣，從 ...

方法有幾種，總結一下方便后面使用。 1. tensorflow自動維護一個tf.GraphKeys.WEIGHTS集合，手動在集合里面添加（tf.add_to_collection()）想要進行正則化懲罰的變量。 然后創建 regularizer ...