自己動手實現深度學習框架-5 使用學習率優化器加快模型訓練速度
在上個階段，我們使用固定學習率優化器訓練識別MNIST手寫數字模型。在后面的示例中將會看到: 如果學習 ...
原文：自己動手實現深度學習框架-3 自動分批訓練, 緩解過擬合
代碼倉庫: https: github.com brandonlyg cute dl 目標 為Session類增加自動分批訓練模型的功能, 使框架更好用。 新增緩解過擬合的算法: L 正則化, 隨機丟棄。 實現自動分批訓練 設計方案 增加Dataset類負責管理數據集, 自動對數據分批。 在Session類中增加fit方法, 從Dataset得到數據, 使用事件機制告訴外界訓練情況, 最后返回一個 ...
2020-04-16 12:20 0 1077 推薦指數：
相關推薦
自己動手實現深度學習框架-2 核心實現
目標 完成框架設計文檔中列出的基礎類和需要在基礎類中實現的接口。使用最簡的單多層感知機(Multi-Layer Perceptron)模型對框架進行初步驗證, 因此, 除了框架的核心部分外, 還要實現一個全連接層，一個激活函數，一個優化器和一個損失函數。 框架代碼簡介 ...
自己動手實現深度學習框架-1 架構設計
目錄 前言 核心概念 整體架構 主要功能 核心類 架構圖 設計約束 LayerParam ...
自己動手實現深度學習框架-7 RNN層--GRU, LSTM
目標 這個階段會給cute-dl添加循環層，使之能夠支持RNN--循環神經網絡. 具體目標包括: 添加激活函數sigmoid, tanh. 添加GRU(Gate Recurrent Unit)實現. 添加LSTM(Long Short-term Memory)實現 ...
自己動手實現深度學習框架-8 RNN文本分類和文本生成模型
代碼倉庫: https://github.com/brandonlyg/cute-dl 目標 上階段cute-dl已經可以構建基礎的RNN模型。但對文本相模型的支持不夠友好, 這個階段的目標是, 讓框架能夠友好地支持文本分類和本文生成任務。具體包括: 添加嵌入層 ...
自己動手實現深度學習框架-6 卷積層和池化層
代碼倉庫: https://github.com/brandonlyg/cute-dl (轉載請注明出處!) 目標 上個階段使用MLP模型在在MNIST數據集上實現了92%左右的准確率，達到了tensorflow同等模型的水平。這個階段要讓cute-dl框架支持最簡單的卷積 ...
自己動手實現深度學習框架-4 使用交叉熵損失函數支持分類任務
代碼倉庫: https://github.com/brandonlyg/cute-dl 目標 增加交叉熵損失函數，使框架能夠支持分類任務的模型。 構建一個MLP模型, 在mnist數據集上執行分類任務准確率達到91%。 實現交叉熵損失函數 數學原理 分解交叉熵損失函數 ...
《動手學深度學習》系列筆記 —— 過擬合、欠擬合極其解決方案(權重衰減法、丟棄法)
1 訓練誤差和泛化誤差 訓練誤差（training error）：模型在訓練數據集上表現出的誤差。 泛化誤差（generalization error）：模型在任意一個測試數據樣本上表現出的誤差的期望，並常常通過測試數據集上的誤差來近似。 計算訓練誤差和泛化誤差可以使用之前介紹 ...