（转）Awesome Knowledge Distillation
Awesome Knowledge Distillation 2018-07-19 10:38:40 Reference：https://github.com/dkozlov/awesome-knowledge-distillation Papers Combining ...
原文：Awesome Knowledge-Distillation
Awesome Knowledge Distillation : : Source:https: github.com FLHonker Awesome Knowledge Distillation Awesome Knowledge Distillation Different forms of knowledge Knowledge from logits Knowledge from in ...
2019-11-26 19:03 0 986 推荐指数：
相关推荐
知识蒸馏（Knowledge Distillation）
知识蒸馏（Knowledge Distillation） 2018年06月04日 16:55:38 Law-Yao 阅读数 22009更多 分类专栏： 深度学习 模型压缩 优化加速 ...
Feature Fusion for Online Mutual Knowledge Distillation （CVPR 2019）
一、解决问题 如何将特征融合与知识蒸馏结合起来，提高模型性能 二、创新点 支持多子网络分支的在线互学习 子网络可以是相同结构也可以是不同结构 应用特征拼接、depthwi ...
论文笔记《Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification》
Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification 2021.5.13 Project Page: https://geyixiao.com/projects/bake ...
【论文阅读】Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification 向多专家学习:用于长尾分类的自定步长知识提炼
向多专家学习:用于长尾分类的自定步长知识提炼 目录 向多专家学习:用于长尾分类的自定步长知识提炼 Introduction Related Work ...
知识蒸馏（Distillation）
蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。 我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。首先，T值很大，相当于用很高的温度将关键的分布信息从 ...
Distilling the Knowledge in a Neural Network
url: https://arxiv.org/abs/1503.02531 year: NIPS 2014   简介 将大模型的泛化能力转移到小模型的一种显而易见的方法是使用由大模型产生的类 ...
Knowledge Tracing中的Attention
本文旨在总结目前看过的关于在知识追踪（Knowledge Tracing）中使用Attention的文章 EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction EERNN EERNN负责 ...