神经网络压缩(2): Dynamic Network Surgery for Efficient DNNs
2017-04-28 13:55
926 查看
转自:http://blog.csdn.net/zhangjunhit/article/details/53218211
NIPS 2016 http://arxiv.org/abs/1608.04493
code: https://github.com/yiwenguo/Dynamic-Network-Surgery
文章是以Song Han,2015年的一篇文章文参考文献的,参考文献提出了一种 网络剪枝(network pruning)算法,可以在保持数据表示能力的前提下,将深度网络中的学习参数压缩10倍以上 ;Song Han在2016年也发表了一篇关于模型压缩的文章并且获得了ICLR 2016 best paper(见上一篇博客)
【9】Learning both Weights and Connections for Efficient Neural Networks
Song Han, Jeff Pool, John Tran, and William J.
Dally: “http://arxiv.org/abs/1506.02626”
本文提出一种动态压缩CNN网络模型算法。针对 LeNet-5 和 AlexNet 可以分别减少 108倍和 17.7倍的参数,而且不损失精度。
本文主要参考了文献【9】,文献【9】通过删除一些不重要的参数达到不损失精度的压缩CNN模型的效果。但是参数的重要性随着网络的变化而变化,所以导致了文献【9】有两个问题:1)有可能把重要的联系删除,导致精度下降,因为一旦删除就难以恢复。2)训练很费时间。
本文提出了 pruning 和 splicing 来解决文献【9】的问题。其中 splicing 主要是来解决删除重要的连接,就是把已经删除的重要连接恢复回来。
本文的流程和文献【9】的流程对比:
3 Dynamic Network Surgery
动态网络外科手术的示意图如下所示:
这里我们用 W_k 表示CNN网络参数矩阵, 二值矩阵 T_k 表示 W_k 对应的项是否被删除。
由于在删除一些网络的连接,会导致网络其他连接的重要性发生改变,所以通过优化最小损失函数来训练删除后的网络比较合适。
优化问题表达如下:
参数迭代如下:
算法流程如下:
3.3 Parameter Importance
其中用于表示网络连接的重要性 h 函数定义如下:
3.4 Convergence Acceleration
为了加快训练速度,我们采用以下两个策略:
1)减少删除连接的概率,因为删除连接导致网络发生变化,导致训练难以收敛
2)卷积层和全链接层分开删裁连接,类似于文献【9】
4 Experimental Results
该算法采取了剪枝与嫁接相结合、训练与压缩相同步的策略完成网络压缩任务。通过网络嫁接操作的引入,避免了错误剪枝所造成的性能损失,从而在实际操作中更好地逼近网络压缩的理论极限。
NIPS 2016 http://arxiv.org/abs/1608.04493
code: https://github.com/yiwenguo/Dynamic-Network-Surgery
文章是以Song Han,2015年的一篇文章文参考文献的,参考文献提出了一种 网络剪枝(network pruning)算法,可以在保持数据表示能力的前提下,将深度网络中的学习参数压缩10倍以上 ;Song Han在2016年也发表了一篇关于模型压缩的文章并且获得了ICLR 2016 best paper(见上一篇博客)
【9】Learning both Weights and Connections for Efficient Neural Networks
Song Han, Jeff Pool, John Tran, and William J.
Dally: “http://arxiv.org/abs/1506.02626”
本文提出一种动态压缩CNN网络模型算法。针对 LeNet-5 和 AlexNet 可以分别减少 108倍和 17.7倍的参数,而且不损失精度。
本文主要参考了文献【9】,文献【9】通过删除一些不重要的参数达到不损失精度的压缩CNN模型的效果。但是参数的重要性随着网络的变化而变化,所以导致了文献【9】有两个问题:1)有可能把重要的联系删除,导致精度下降,因为一旦删除就难以恢复。2)训练很费时间。
本文提出了 pruning 和 splicing 来解决文献【9】的问题。其中 splicing 主要是来解决删除重要的连接,就是把已经删除的重要连接恢复回来。
本文的流程和文献【9】的流程对比:
3 Dynamic Network Surgery
动态网络外科手术的示意图如下所示:
这里我们用 W_k 表示CNN网络参数矩阵, 二值矩阵 T_k 表示 W_k 对应的项是否被删除。
由于在删除一些网络的连接,会导致网络其他连接的重要性发生改变,所以通过优化最小损失函数来训练删除后的网络比较合适。
优化问题表达如下:
参数迭代如下:
算法流程如下:
3.3 Parameter Importance
其中用于表示网络连接的重要性 h 函数定义如下:
3.4 Convergence Acceleration
为了加快训练速度,我们采用以下两个策略:
1)减少删除连接的概率,因为删除连接导致网络发生变化,导致训练难以收敛
2)卷积层和全链接层分开删裁连接,类似于文献【9】
4 Experimental Results
该算法采取了剪枝与嫁接相结合、训练与压缩相同步的策略完成网络压缩任务。通过网络嫁接操作的引入,避免了错误剪枝所造成的性能损失,从而在实际操作中更好地逼近网络压缩的理论极限。
相关文章推荐
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- Dynamic Network Surgery for Efficient DNNs
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- 神经网络压缩(7)Soft weight-sharing for neural network compression
- Attention-over-Attention Neural Network for Reading Comprehension----神经网络在阅读理解上的应用
- (摘要)ICLR 2017 神经网络压缩,Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig
- Neural Network Methods for Natural Language Processing 读书笔记1 —— 神经网络入门
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 4 Quiz
- transaction manager has disabled its support for remote/network transactions. 该伙伴事务管理器已经禁止了它对远程/网络事务的支持
- transaction manager has disabled its support for remote/network transactions. 该伙伴事务管理器已经禁止了它对远程/网络事务
- 机器学习中的神经网络Neural Networks for Machine Learning:Programming Assignment 1: The perceptron learning alg
- Introduction to neural network —— 该“神经网络” 下拉“祭坛”
- Learning both Weights and Connections for Efficient Neural Network -- 论文笔记
- Fundamental Questions for Network Security,网络安全的基本问题
- 机器学习中的神经网络Neural Networks for Machine Learning:Final Exam
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 1 Quiz
- Standford机器学习 神经网络的学习(Neural Network Learning)
- 多网卡下的网络配置方法---- Best Practices for Using Multiple Network Interfaces (NICs)
- 如何解决ubuntu 12.04重启后出现waiting for network configuration和网络标志消失问题
- Fast dynamic execution offloading for efficient mobile cloud computing阅读笔记