原文:李宏毅-Network Compression课程笔记

一 方法总结 Network Pruning Knowledge Distillation Parameter Quantization Architecture Design Dynamic Computation 二 Network Pruning 模型通常是过参数的,即很多参数或者neuron是冗余的 例如非常接近 ,因此我们可以移除这些参数来对模型进行压缩。 . 重要性判断 那么怎么判断哪 ...

2019-12-22 11:04 0 1160 推荐指数:

查看详情

2021春机器学习课程笔记——Convolutional Neural Network

本文作为自己学习老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! CNN理解角度一 图像的表达形式 对于一个Machine来说,一张输入的图像其实是一个三维的Tensor。 如上图所示,三个维度分别 ...

Sat Apr 24 02:39:00 CST 2021 0 310
机器学习课程笔记-3.梯度下降精讲

梯度下降伪代码 梯度下降可以优化损失函数的值,使其尽量小,即可找到最好(在数据集上拟合效果最好)的模型参数。 现在假设模型\(f\)中只有一个参数\(w\),则损失函数为\(L(f)=L(w)\) ...

Mon Dec 28 02:09:00 CST 2020 0 325
2021春机器学习课程笔记——Introduction of Machine/Deep Learning

本文作为自己学习老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 一、Machine Learning概念理解 Machine Learning主要的任务是寻找一个合适的Function来完成我们的工作(非常不严 ...

Thu Apr 08 17:48:00 CST 2021 0 312
深度学习笔记-Transformer

Transformer英文的意思就是变形金刚,Transformer现在有一个非常知名的应用,这个应用叫做BERT,BERT就是非监督的Transformer,Transformer是一个seq2se ...

Wed Nov 25 00:18:00 CST 2020 0 1162
深度学习笔记-为什么要深度?

问题:越深越好? 层数越多,参数越多,model比较复杂,数据又多的话,本来误差就越小,这为什么归因于”深“呢? 矮胖结构 v.s. 高瘦结构 真正要比较”深“和”浅“的model的时候 ...

Thu Jun 04 04:58:00 CST 2020 0 662
2021春机器学习课程笔记——生成对抗模型模型

本文作为自己学习老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 概率生成模型 概率生成模型(Probabilistic Generative Model)简称生成模型,指一系列用于随机生成可观测数据的模型 ...

Tue Aug 10 02:25:00 CST 2021 0 102
mate learning学习笔记

mate learning = learn to learn 如下图所示,mate learning就是 输入训练资料到 F,输出的是一个可以用来识别图像的 f*。 F(training d ...

Fri Apr 10 23:00:00 CST 2020 0 593
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM