李宏毅机器学习2020笔记（三）深度学习
一、深度学习 1、简介 不同的连接方法 2、全连接前馈网络 1*1+(-1)*(-2)+1=4--->sigmoid--->0.98 相当于一个函数，输入一个向量，输出一个向量。如果w和b未知，神经网络就是一个比较大的function set ...
原文：李宏毅机器学习2020笔记（五）RNN、LSTM
一 问题提出 slot filling 槽填充 ：智慧客服 智慧订票系统中往往需要自动将词汇与slot对应。 把词汇用向量表示。 多加一个other维度，不在词典中就归类到other。 也可以用一个词汇的字母的n gram，如apple中包含app ppl ple。 把这个vector放进network，得到的输出是input属于每个slot的几率。 第二句话输出的taipei是出发地而不是目的地 ...
2020-07-02 20:11 0 598 推荐指数：
相关推荐
李宏毅机器学习2020笔记（一）Introduction&Regression
一、Course Introduction 1、机器学习就是自动找函式 Regression: output is a scalar. Classification：yes or no Binary classification：RNN作业 Multi-class ...
李宏毅《机器学习 深度学习》简要笔记（一）
P1 一、线性回归中的模型选择 上图所示： 五个模型，一个比一个复杂，其中所包含的function就越多，这样就有更大几率找到一个合适的参数集来更好的拟合训练集。所以，随着模型的复杂度提 ...
【笔记】机器学习 - 李宏毅 -- ELMO、BERT、GPT
1.背景知识 one-hot -> word class -> word embedding 不过传统的word embedding解决不了多义词的问题。 2. ELMO 为了解决上述问题，首先有了ELMO。 它是一个双向的RNN网络，这样每一个单词都对应两个 ...
【笔记】机器学习 - 李宏毅 -- Transformer
1.RNN和CNN的局限性 RNN是seq2seq的模型，RNN不易平行化，如果是单向的话，要输出\(b^3\)，需要先看完\(a^1, a^2, a^3\)。如果是双向的话，可以看完整个句子。 CNN在高层的时候，可以考虑距离更长的信息，CNN易于并行化。CNN的缺点是，考虑的只是局部内容 ...
李宏毅机器学习笔记（）GNN
一、introduction How do we utilize the structures and relationship to help our ...