李宏毅深度學習筆記-為什么要深度？
問題：越深越好？ 層數越多，參數越多，model比較復雜，數據又多的話，本來誤差就越小，這為什么歸因於”深“呢？ 矮胖結構 v.s. 高瘦結構 真正要比較”深“和”淺“的model的時候 ...
原文：李宏毅深度學習筆記-Seq2seq
在講Sequence Generation之前，再復習下RNN和有門的RNN LSTM，GRU 之前告訴你說，RNN是一個有記憶的神經網絡，但今天從另外一個角度來講RNN。我們說RNN特別的地方是它里面有一個basic函數，用 f 來表示，在RNN里面會被反復使用。這個basic函數的input是兩個向量 h,x ，output是另外兩個向量，寫作 h ,y ，我們知道說要使用RNN時，你的輸入 ...
2020-11-06 20:49 0 523 推薦指數：
相關推薦
李宏毅深度學習筆記-Transformer
Transformer英文的意思就是變形金剛，Transformer現在有一個非常知名的應用，這個應用叫做BERT，BERT就是非監督的Transformer，Transformer是一個seq2seq model with “self-attention"。Transformer在seq2seq ...
李宏毅深度學習筆記-深度學習簡介
李宏毅深度學習筆記 https://datawhalechina.github.io/leeml-notes 李宏毅深度學習視頻 https://www.bilibili.com/video/BV1JE411g7XF step1 神經網絡 激活函數是sigmoid，紅色圈是一組神經元，每個 ...
NLP與深度學習（三）Seq2Seq模型與Attention機制
1. Attention與Transformer模型 Attention機制與Transformer模型，以及基於Transformer模型的預訓練模型BERT的出現，對NLP領域產生了變革性提 ...
李宏毅《機器學習 深度學習》簡要筆記（一）
P1 一、線性回歸中的模型選擇 上圖所示： 五個模型，一個比一個復雜，其中所包含的function就越多，這樣就有更大幾率找到一個合適的參數集來更好的擬合訓練集。所以，隨着模型的復雜度提 ...
李宏毅深度學習筆記-半監督學習
半監督學習 什么是半監督學習？ 大家知道在監督學習里，有一大堆的訓練數據（由input和output對組成）。例如上圖所示\(x^r\)是一張圖片，\(y^r\)是類別的label。 半監督學習是說，在label數據上面，有另外一組unlabeled的數據，寫成\(x^u ...
深度學習之seq2seq模型以及Attention機制
RNN，LSTM，seq2seq等模型廣泛用於自然語言處理以及回歸預測，本期詳解seq2seq模型以及attention機制的原理以及在回歸預測方向的運用。 1. seq2seq模型介紹 seq2seq模型是以編碼（Encode）和解碼（Decode）為代表的架構方式，seq2seq模型 ...
李宏毅深度學習筆記-反向傳播
李宏毅深度學習筆記 https://datawhalechina.github.io/leeml-notes 李宏毅深度學習視頻 https://www.bilibili.com/video/BV1JE411g7XF 背景 梯度下降 假設有很多參數\(\theta\) 選擇一組初始值 ...