本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! CNN理解角度一 图像的表达形式 对于一个Machine来说,一张输入的图像其实是一个三维的Tensor。 如上图所示,三个维度分别 ...
一 方法总结 Network Pruning Knowledge Distillation Parameter Quantization Architecture Design Dynamic Computation 二 Network Pruning 模型通常是过参数的,即很多参数或者neuron是冗余的 例如非常接近 ,因此我们可以移除这些参数来对模型进行压缩。 . 重要性判断 那么怎么判断哪 ...
2019-12-22 11:04 0 1160 推荐指数:
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! CNN理解角度一 图像的表达形式 对于一个Machine来说,一张输入的图像其实是一个三维的Tensor。 如上图所示,三个维度分别 ...
梯度下降伪代码 梯度下降可以优化损失函数的值,使其尽量小,即可找到最好(在数据集上拟合效果最好)的模型参数。 现在假设模型\(f\)中只有一个参数\(w\),则损失函数为\(L(f)=L(w)\) ...
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 一、Machine Learning概念理解 Machine Learning主要的任务是寻找一个合适的Function来完成我们的工作(非常不严 ...
Transformer英文的意思就是变形金刚,Transformer现在有一个非常知名的应用,这个应用叫做BERT,BERT就是非监督的Transformer,Transformer是一个seq2se ...
问题:越深越好? 层数越多,参数越多,model比较复杂,数据又多的话,本来误差就越小,这为什么归因于”深“呢? 矮胖结构 v.s. 高瘦结构 真正要比较”深“和”浅“的model的时候 ...
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 概率生成模型 概率生成模型(Probabilistic Generative Model)简称生成模型,指一系列用于随机生成可观测数据的模型 ...
mate learning = learn to learn 如下图所示,mate learning就是 输入训练资料到 F,输出的是一个可以用来识别图像的 f*。 F(training d ...
比较有用的是conditioned generator,能够控制输入的vector来控制对应的文字音像 ...