您的位置:首页 > 其它

论文笔记——Channel Pruning for Accelerating Very Deep Neural Networks

2017-10-09 14:20 1031 查看
论文地址:https://arxiv.org/abs/1707.06168

代码地址:https://github.com/yihui-he/channel-pruning

采用方法


这篇文章主要讲诉了采用裁剪信道(channel pruning)的方法实现深度网络的加速。主要方法有两点:

(1)LASSO regression based channel selection. (2)least square reconstruction.


实现效果


VGG-16实现5x的加速,0.3%误差增加(深度卷积网络,13个CNN)

ResNet实现2x加速,1.4%误差增加(残差网络)

Xception实现2x加速,1.0%误差增加(残差网络)

本文还结合了spatial, channel factorization and channel pruning三种方法实现更好的效果。

网络大小压缩没有说。


CNN加速方法

optimized implementation(e.g. FFT) 就是实现更快的计算方法

quantization(e.g. BinaryNet) 就是将网络中的浮点数二值化

structed simplification 就是将网络结果变简单

structed simplification 方法

tensor factorization 就是将矩阵分解

sparse connection 就是让网络连接变得稀疏

channel pruning 信道裁剪

channel pruning 方法

first k selects the first k channels. 这种方法太简单粗暴了。

max response 也就是选择权值和最大的信道,认为拥有的信息最多。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐