轻量级卷积神经网络
2020-04-01 18:43
1531 查看
SqueezeNet
- Fire Module:Squeeze层和Expand层
- 类似Inception结构
- 深度压缩方法
MobileNet(google)
- 精度损失可控范围内,大幅度降低参数和计算量
- 模型结构:深度可分离卷积,每个分组都是由一通道组成
1.深度卷积(Depth-wise):每一个channel为一个组,减少参数量,损失了通道之间的关联
2.点卷积(Point-wise):1*1卷积,将channel之间的信息整合,补充了通道信息 - 因为芯片对分组卷积的支持不太好,所以实际效果没有理论好
ShuffleNet
- 旷视科技提出
- 也是用了深度卷积代替标准卷积
- 分组卷积+通道shuffle:shuffle将通道打乱,起到通道信息整合的作用
- 与mobilenet比计算量差不多,准确性略好,实现时shuffle是难点
轻量级卷积神经网络设计标准
- 相同的通道宽度可最小化内存访问成本(MAC)
- 过度的组卷积会增加MAC
- 网络碎片化(Inception结构)会降低并行度
- 元素级运算不可忽视(如resnet中的+操作)
模型压缩使模型更轻
- 模型剪枝
- 模型量化/定点化(TensorFlow自动优化)
- 知识蒸馏(教师网络):采用大的复杂网络指导小网络
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- Deep Learning论文笔记之(五)CNN卷积神经网络代码理解
- Deeplearning-吴恩达-卷积神经网络-第二周作业02-Residual Networks(keras)
- IOS 轻量级数据持久化 DataLite
- 蒋步星:轻量级大数据计算引擎
- 卷积神经网络
- 深度学习:卷积神经网络与图像识别基本概念
- 卷积神经网络资料
- 轻量级测试工具ContiPerf
- [Android] SharedPreferences(轻量级的存储方式)
- TensorFlow 入门 4--卷积神经网络介绍
- 卷积神经网络CNN
- 轻量级ORM框架——第一篇:Dapper快速学习
- ashx+jQuery,一个轻量级的asp.net ajax解决方案
- 4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析
- 学习笔记-轻量级Java EE:JSP基本知识
- 卷积神经网络(一)
- 卷积神经网络(Convolutional Neural Networks)
- 卷积神经网络中十大拍案叫绝的操作
- 学习笔记-轻量级Java EE:模式--观察者模式
- 一个.net下的轻量级的Serverless 文档数据库LiteDB