自己動手實現深度學習框架-3 自動分批訓練, 緩解過擬合
代碼倉庫: https://github.com/brandonlyg/cute-dl 目標 為Session類增加自動分批訓練模型的功能, 使框架更好用。 新增緩解過擬合的算法: L2正則化, 隨機丟棄。 實現自動分批訓練 設計方案 增加Dataset類負責管理 ...
原文：自己動手實現深度學習框架-5 使用學習率優化器加快模型訓練速度
代碼倉庫: https: github.com brandonlyg cute dl 轉載請注明出處 目標 增加學習率優化器, 加快模型在小學習率下模型的訓練速度。 使用MNIST數據集比較同一個模型使用不同學習率優化器的表現。 常見的學習率優化算法 在上個階段，我們使用固定學習率優化器訓練識別MNIST手寫數字模型。在后面的示例中將會看到: 如果學習習設置太大，模型將無法收斂 如果設置學習率太小 ...
2020-04-27 17:16 0 1260 推薦指數：
相關推薦
自己動手實現深度學習框架-8 RNN文本分類和文本生成模型
代碼倉庫: https://github.com/brandonlyg/cute-dl 目標 上階段cute-dl已經可以構建基礎的RNN模型。但對文本相模型的支持不夠友好, 這個階段的目標是, 讓框架能夠友好地支持文本分類和本文生成任務。具體包括: 添加嵌入層 ...
自己動手實現深度學習框架-2 核心實現
目標 完成框架設計文檔中列出的基礎類和需要在基礎類中實現的接口。使用最簡的單多層感知機(Multi-Layer Perceptron)模型對框架進行初步驗證, 因此, 除了框架的核心部分外, 還要實現一個全連接層，一個激活函數，一個優化器和一個損失函數。 框架代碼簡介 ...
自己動手實現深度學習框架-1 架構設計
目錄 前言 核心概念 整體架構 主要功能 核心類 架構圖 設計約束 LayerParam ...
自己動手實現深度學習框架-7 RNN層--GRU, LSTM
. 使用基於GRU和LSTM的RNN模型擬合一個正余弦疊加函數. RNN原理 原始的RNN ...
自己動手實現深度學習框架-4 使用交叉熵損失函數支持分類任務
代碼倉庫: https://github.com/brandonlyg/cute-dl 目標 增加交叉熵損失函數，使框架能夠支持分類任務的模型。 構建一個MLP模型, 在mnist數據集上執行分類任務准確率達到91%。 實現交叉熵損失函數 數學原理 分解交叉熵損失函數 ...
深度學習的模型是怎么訓練/優化出來的
以典型的分類問題為例，來梳理模型的訓練過程。訓練的過程就是問題發現的過程，一次訓練是為下一步迭代做好指引。 1.數據准備 准備： 數據標注前的標簽體系設定要合理 用於標注的數據集需要無偏、全面、盡可能均衡 標注過程要審核 整理數據集 將各個標簽的數據放於 ...
使用GOOGLE COLAB訓練深度學習模型
使用 谷歌提供了免費的K80的GPU用於訓練深度學習的模型。而且最贊的是以notebook的形式提供，完全可以做到開箱即用。你可以從Google driver處打開。或者這里 默認創建的是沒有GPU的，我們需要修改，點擊“代碼執行程序” 然后就會有GPU使用了 掛在Google雲盤 ...