李宏毅深度學習筆記-Transformer
Transformer英文的意思就是變形金剛，Transformer現在有一個非常知名的應用，這個應用叫做BERT，BERT就是非監督的Transformer，Transformer是一個seq2se ...
原文：李宏毅深度學習筆記-為什么要深度？
問題：越深越好 層數越多，參數越多，model比較復雜，數據又多的話，本來誤差就越小，這為什么歸因於 深 呢 矮胖結構 v.s. 高瘦結構 真正要比較 深 和 淺 的model的時候，要讓它們的參數一樣多。 淺 的model就會是一個矮胖的model， 深 的model就會是一個瘦高的model 選擇兩個參數個數接近的model 層，每層 個神經元的誤差是 . 層，每層 個神經元的誤差是 . 從上 ...
2020-06-03 20:58 0 662 推薦指數：
相關推薦
李宏毅深度學習筆記-深度學習簡介
李宏毅深度學習筆記 https://datawhalechina.github.io/leeml-notes 李宏毅深度學習視頻 https://www.bilibili.com/video/BV1JE411g7XF step1 神經網絡 激活函數是sigmoid，紅色圈是一組神經元，每個 ...
李宏毅《機器學習 深度學習》簡要筆記（一）
P1 一、線性回歸中的模型選擇 上圖所示： 五個模型，一個比一個復雜，其中所包含的function就越多，這樣就有更大幾率找到一個合適的參數集來更好的擬合訓練集。所以，隨着模型的復雜度提 ...
李宏毅深度學習筆記-半監督學習
半監督學習 什么是半監督學習？ 大家知道在監督學習里，有一大堆的訓練數據（由input和output對組成）。例如上圖所示\(x^r\)是一張圖片，\(y^r\)是類別的label。 半監督學習是說，在label數據上面，有另外一組unlabeled的數據，寫成\(x^u ...
李宏毅深度學習筆記-反向傳播
李宏毅深度學習筆記 https://datawhalechina.github.io/leeml-notes 李宏毅深度學習視頻 https://www.bilibili.com/video/BV1JE411g7XF 背景 梯度下降 假設有很多參數\(\theta\) 選擇一組初始值 ...
李宏毅深度學習筆記-Seq2seq
在講Sequence Generation之前，再復習下RNN和有門的RNN（LSTM，GRU） 之前告訴你說，RNN是一個有記憶的神經網絡，但今天從另外一個角度來講RNN。我們說RNN特別 ...
李宏毅深度學習筆記-Adagrad算法
李宏毅深度學習筆記 https://datawhalechina.github.io/leeml-notes 李宏毅深度學習視頻 https://www.bilibili.com/video/BV1JE411g7XF 普通的梯度下降法 學習率\(\eta\)是個超參數需要人工調整 ...
李宏毅深度學習筆記-分類模型
李宏毅深度學習筆記 https://datawhalechina.github.io/leeml-notes 李宏毅深度學習視頻 https://www.bilibili.com/video/BV1JE411g7XF 假設有兩個類別，label為1和-1 如果用回歸的方式擬合模型，那么目標 ...