李宏毅機器學習2020筆記（三）深度學習
一、深度學習 1、簡介 不同的連接方法 2、全連接前饋網絡 1*1+(-1)*(-2)+1=4--->sigmoid--->0.98 相當於一個函數，輸入一個向量，輸出一個向量。如果w和b未知，神經網絡就是一個比較大的function set ...
原文：李宏毅機器學習2020筆記（五）RNN、LSTM
一 問題提出 slot filling 槽填充 ：智慧客服 智慧訂票系統中往往需要自動將詞匯與slot對應。 把詞匯用向量表示。 多加一個other維度，不在詞典中就歸類到other。 也可以用一個詞匯的字母的n gram，如apple中包含app ppl ple。 把這個vector放進network，得到的輸出是input屬於每個slot的幾率。 第二句話輸出的taipei是出發地而不是目的地 ...
2020-07-02 20:11 0 598 推薦指數：
相關推薦
李宏毅機器學習2020筆記（一）Introduction&Regression
一、Course Introduction 1、機器學習就是自動找函式 Regression: output is a scalar. Classification：yes or no Binary classification：RNN作業 Multi-class ...
李宏毅《機器學習 深度學習》簡要筆記（一）
P1 一、線性回歸中的模型選擇 上圖所示： 五個模型，一個比一個復雜，其中所包含的function就越多，這樣就有更大幾率找到一個合適的參數集來更好的擬合訓練集。所以，隨着模型的復雜度提 ...
【筆記】機器學習 - 李宏毅 -- ELMO、BERT、GPT
1.背景知識 one-hot -> word class -> word embedding 不過傳統的word embedding解決不了多義詞的問題。 2. ELMO 為了解決上述問題，首先有了ELMO。 它是一個雙向的RNN網絡，這樣每一個單詞都對應兩個 ...
【筆記】機器學習 - 李宏毅 -- Transformer
1.RNN和CNN的局限性 RNN是seq2seq的模型，RNN不易平行化，如果是單向的話，要輸出\(b^3\)，需要先看完\(a^1, a^2, a^3\)。如果是雙向的話，可以看完整個句子。 CNN在高層的時候，可以考慮距離更長的信息，CNN易於並行化。CNN的缺點是，考慮的只是局部內容 ...
李宏毅機器學習筆記（）GNN
一、introduction How do we utilize the structures and relationship to help our ...