原文:《DistilBERT,adistilledversionofBERT:smaller, faster,cheaperandlighter》阅读心得

该文主要采用 知识蒸馏 方法对BERT 预训练语言模型 精简 优化,将较大模型压缩成较小的模型,最终目的是:提高模型推理的效率,让运行在智能手机等硬件设备上的深度学习模型具有轻量级 响应快及能源利用率高等特性。 在 年的NLP领域预训练 微调的模型训练思路百家争鸣,ElMo GPT BERT Mass ULMFit等模型陆续登台成为当前领域最闪耀的星星,纵览全局能够真正快速用于产品化落地的mod ...

2020-02-03 20:08 0 903 推荐指数:

查看详情

faster-rcnn代码阅读-proposal层

这一节讲述proposal层,和这一层有关的结构图如下: proposal层的prototxt定义如下: 这一层的功能是对卷积网络中RPN输出的bbox_deltas, scor ...

Thu Jul 18 08:15:00 CST 2019 0 606
Faster-RCNN tensorflow源码阅读笔记

源码地址:https://github.com/endernewton/tf-faster-rcnn 看到一个博客写了对源码的解析,写的很简洁全面,估计再写也不可能比他写的好了,不过还是简单写下源码的解析及阅读后的感受吧。https://blog.csdn.net/u012457308 ...

Sun Oct 07 02:19:00 CST 2018 4 3616
"Mathematical Analysis of Algorithms" 阅读心得

"Mathematical Analysis of Algorithms" 阅读心得 “Mathematical Analysis of Algorithms”是著名计算机界大神Knuth在1971年发表的论文。以前只是听说Knuth非常神,看了这篇论文才体会到Knuth到底有多神…Orz ...

Thu Mar 08 22:16:00 CST 2018 3 2439
py-faster-rcnn代码阅读2-config.py

简介 该文件指定了用于fast rcnn训练的默认config选项,不能随意更改,如需更改,应当用 ...

Fri May 19 18:54:00 CST 2017 0 4628
faster-rcnn代码阅读-数据预处理

毫无疑问,faster-rcnn是目标检测领域的一个里程碑式的算法。本文主要是本人阅读python版本的faster-rcnn代码的一个记录,算法的具体原理本文也会有介绍,但是为了对该算法有一个整体性的理解以及更好地理解本文,还需事先阅读faster-rcnn的论文并参考网上的一些说明性的博客 ...

Sat Dec 15 07:40:00 CST 2018 0 1009
py-faster-rcnn代码阅读3-roidb.py

roidb是比较复杂的数据结构,存放了数据集的roi信息。原始的roidb来自数据集,在trian.py的get_training_roidb(imdb)函数进行了水平翻转扩充数量,然后prepare ...

Thu May 04 05:39:00 CST 2017 0 5774
阅读《不止代码》之心得分享

阅读链接为:https://102.alibaba.com/downloadFile.do?file=1530517140411/Codelife.pdf 强烈推荐读一读 我大致浏览过一遍+重新选了几篇文章细看了一遍,有如下体会。 关于如何成为技术大牛这篇文章,我的体会如下?(这里也要引入 ...

Thu Aug 23 05:37:00 CST 2018 0 854
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM