過的損失函數，例如線性回歸用到的平方損失函數和softmax回歸用到的交叉熵損失函數。 機器學習模型 ...

過擬合現象，即模型的訓練誤差遠⼩於它在測試集上的誤差。雖然增⼤訓練數據集可能會減輕過擬合，但是獲取額外的訓練數據往往代價⾼昂。本節介紹應對過擬合問題的常⽤⽅法：權重衰減（weight decay）。 一、方法 權重衰減等價於 范數正則化（regularization ...

深度學習中常常會存在過擬合現象,比如當訓練數據過少時,訓練得到的模型很可能在訓練集上表現非常好,但是在測試集上表現不好. 應對過擬合,可以通過數據增強,增大訓練集數量.我們這里先不介紹數據增強,先從模型訓練的角度介紹常用的應對過擬合的方法. 權重衰減 權重衰減等價於 \(L_2\) 范數正則化 ...

概念 之前一直對“權重衰減”和“學習率衰減”存在誤解，我甚至一度以為它們是同一個東西，以至於使用的時候感覺特別困惑。在優化器中使用了“權重衰減”，竟然發現模型的准確率下降了，假如它們是同一個東西，至少應該是學得慢，而不是學壞了。因此，專門查了一下資料，了解兩者的區別，這篇隨筆做一下記錄 ...

獲取和讀取數據 初始化模型參數 實現softmax運算 定義模型 定義損失函數 計算分類准確率 訓練模型 小結 獲取和讀取數據 我們將使用Fahs ...

task0101.線性回歸 優化函數 - 隨機梯度下降 當模型和損失函數形式較為簡單時，上面的誤差最小化問題的解可以直接用公式表達出來。這類解叫作解析解（analytical solution）。本節使用的線性回歸和平方誤差剛好屬於這個范疇。然而，大多數深度學習模型並沒有解析解，只能 ...

⽂本分類是⾃然語⾔處理的⼀個常⻅任務，它把⼀段不定⻓的⽂本序列變換為⽂本的類別。它的⼀個⼦問題：使⽤⽂本情感分類來分析⽂本作者的情緒。這個問題也叫情感分析，並有着⼴泛的應⽤。例如，我們 ...

目錄 競賽總結 QA 競賽總結 我們講知識，也不可能所有東西都cover到，讓大家競賽不是讓大家去學某個特定的知識，而是說大家遇到一個問題，怎么去找一個 ...