(摘要)ICLR 2017 神经网络压缩,Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig
2017-10-08 10:59
1406 查看
目录
目录原文
摘要
原文
原文:https://arxiv.org/abs/1702.03044代码:https://github.com/Zhouaojun/Incremental-Network-Quantization
摘要
Incremental Network Quantization(INQ)是一种神经网络压缩方法。它以已训练的任意全精度网络作为输入,输出权值为0或2的整数次幂的网络。通过以下两个创新点,能有效解决压缩型网络准确率下降太多的问题。一方面,网络生成由三个相互依赖的操作组成,包括a)权值分割,b)分组量化和c)再训练。每一层的权重被分成两组,一组被量化,另一组被再训练以补偿第一组量化带来的精度损失。另一方面,以上三个操作不断迭代训练网络,直到所有的权重都被压缩。
用ImageNet库进行测试,测试了AlexNet,VGG-16,GoogleNet和ResNets(18和50),在5位量化的测试中,准确率均较32位浮点型有所提高。此外,以ResNet-18为例,在4位、3位和2位的量化中,其准确率与32位浮点的精度相类似。
此外,网络裁剪和INQ结合也有很好的效果。
使用INQ有望使深度学习神经网络在移动或者嵌入式设备中得到应用。
相关文章推荐
- INQ(incremental network quantization:towards lossless CNNs with low-precision weights
- coursera 吴恩达 -- 第一课 神经网络和深度学习 :第二周课后习题 Logistic Regression with a Neural Network mindset
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- Coursera deep learning 吴恩达 神经网络和深度学习 第二周 编程作业 Logistic Regression with a Neural Network mindset
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks(更快的RCNN:通过区域提议网络实现实时)
- 神经网络压缩(7)Soft weight-sharing for neural network compression
- 【论文笔记2】图像压缩神经网络在Kodak数据集上首次超越JPEG——Full Resolution Image Compression with Recurrent Neural Networks
- Deep Learning(深度学习)之(六)【深度神经网络压缩】Deep Compression (ICLR2016 Best Paper)
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks(更快的RCNN:通过区域提议网络实现实时)
- [总结]神经网络・压缩 compression(cnn,rnn)
- CNN网络加速--Performance Guaranteed Network Acceleration via High-Order Residual Quantization
- 【深度神经网络压缩】Deep Compression (ICLR2016 Best Paper)
- 神经网络压缩(2): Dynamic Network Surgery for Efficient DNNs
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- 嵌入式/压缩神经网络相关工作汇总
- 回归神经网络RNN(Recurrent Neural network)
- 深度神经网络如何看待你,论自拍What a Deep Neural Network thinks about your #selfie
- ICLR'16 best paper 深度压缩,加速网络前传
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks程序(Python)配置问题总结
- Make_a_neural_network-入门级难度构建Pyhton神经网络