语音识别模型： 语音识别模型主要分为两种，一种是基于seq seq的，一种是基于HMM的。 seq seq的模型主要有LAS，CTC，RNN T，Neural Transducer，MoChA。 本节讲最流行的LAS，就是Listen，Atten，and Spell，典型的seq seq attention的自编码模型。 . Listen： 编码器会把输入的一串声学特征，转换为高维隐层嵌入。它的主 ...
2020-07-06 20:14 0 694 推荐指数：
Connectionist Temporal Classification (CTC) CTC可以用于线上实时地语音识别，编码器用的是单向的RNN，解码是用MLP来预测文字分布。 编码器将语音输入\(x^i\)编码成\(h^i\)，MLP再对它乘上一个权重，接上Softmax，得到词表V大小 ...
课程名称：深度学习与人类语言处理(Deep Learning for Human Language Processing) （自然语言包括文本和语音两种形式，不过自然语言处理大多时候指的是文本处理，所以这门课的名字叫人类语言处理以便区分，因为这门课语音和文本的内容是1:1的） 人类语言处理 ...
LAS: listen, attented and spell,Google 思想: sequence to sequence的思想，模型分为encoder和decoder两部分，首先将任意长的输入序列通过encoder转化为定长的特征表达，然后输入 ...
mate learning = learn to learn 如下图所示，mate learning就是 输入训练资料到 F，输出的是一个可以用来识别图像的 f*。 F（training data） = f （一个神经网络） 而与其他的机器学习模型不同的是，机器学习是训练出来一个模型F ...
Transformer英文的意思就是变形金刚，Transformer现在有一个非常知名的应用，这个应用叫做BERT，BERT就是非监督的Transformer，Transformer是一个seq2se ...
问题：越深越好？ 层数越多，参数越多，model比较复杂，数据又多的话，本来误差就越小，这为什么归因于”深“呢？ 矮胖结构 v.s. 高瘦结构 真正要比较”深“和”浅“的model的时候 ...
一、方法总结 Network Pruning Knowledge Distillation Parameter Quantization Architecture Design ...
Regression 1、首先，什么是regression（回归） 2、然后，实现回归的步骤（机器学习的步骤） step1、model（确定一个模型）——线性模型 step2、good ...
