論文筆記——Channel Pruning for Accelerating Very Deep Neural Networks
論文地址：https://arxiv.org/abs/1707.06168 代碼地址：https://github.com/yihui-he/channel-pruning 采用方法 這篇文章主要講訴了采用裁剪信道(channel pruning)的方法實現深度網絡的加速 ...
原文：論文筆記：分形網絡（FractalNet: Ultra-Deep Neural Networks without Residuals）
FractalNet: Ultra Deep Neural Networks without Residuals ICLR Gustav Larsson, Michael Maire, Gregory Shakhnarovich 文章提出了什么 What ResNet提升了深度網絡的表現，本文提出的分形網絡也取得了優秀的表現，通過實驗表示，殘差結構對於深度網絡來說不是必須的。 ResNet缺乏正則 ...
2018-06-23 19:24 2 3094 推薦指數：
相關推薦
論文筆記《Notes on convolutional neural networks》
這是個06年的老文章了，但是很多地方還是值得看一看的. 一、概要 主要講了CNN的Feedforward Pass和 Backpropagation Pass，關鍵是卷積層和polling層 ...
論文筆記系列-Speeding Up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolation of Learning Curves
I. 背景介紹 1. 學習曲線(Learning Curve) 我們都知道在手工調試模型的參數的時候，我們並不會每次都等到模型迭代完后再修改超參數，而是待模型訓練了一定的epoch次數后，通過觀察 ...
【醫學影像】《Dermatologist-level classification of skin cancer with deep neural networks》論文筆記
這是一篇關於皮膚癌分類的文章，核心就是分類器，由斯坦福大學團隊發表，居然發到了nature上，讓我驚訝又佩服，雖然在方法上沒什么大的創新，但是論文本身的工作卻意義重大，並且這篇17年見刊的文章，引用量已經達到1300多，讓人佩服，值得學習。 【出發點】現有的皮膚癌分類系統由於數據量不夠，同時只 ...
論文筆記(Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration)
這是CVPR 2019的一篇oral。 預備知識點：Geometric median 幾何中位數 \begin{equation}\underset{y \in \mathbb{R}^{n}}{\ ...
【論文筆記】Progressive Neural Networks 漸進式神經網絡
Progressive NN Progressive NN是第一篇我看到的deepmind做這個問題的。思路就是說我不能忘記第一個任務的網絡，同時又能使用第一個任務的網絡來做第二個任務。 為了不忘記之前的任務，他們的方法簡單暴力：對所有的之前任務的網絡，保留並且fix，每次有一個新任務就新建 ...
論文筆記：Diffusion-Convolutional Neural Networks （傳播-卷積神經網絡）
Diffusion-Convolutional Neural Networks （傳播-卷積神經網絡）2018-04-09 21:59:02 1. Abstract: 我們提出傳播-卷積神經網絡（DCNNs），一種處理 graph-structured data 的新模型 ...