卷积神经网络进化
2020-04-01 18:43
971 查看
总体
阿尔法:AlexNet
更深:VGG、ResNet
更宽:InceptionNet
更深+更宽:InceptionResNet(Inception+Res)
更轻量级:MobileNet等,另附一篇轻量级卷积神经网络介绍
1.AlexNet
- 首次使用ReLU
- 使用了2-GPU并行结构
- 使用了归一化层(注意不是batch normalization,后续弃用)
- 使用了数据增强技术
- 两个全连接层使用了dropout:避免过拟合
- 使用了模型组合技术
2.VGGNet
- 更深(11-19层,A-E)
- 多使用3*3的卷积核
2个3*3卷积层可以看做一层5*5的卷积层(视野域相同,2层比一层多一次非线性变换,参数降低28%)
3个3*3卷积层可以看做一层7*7的卷积层
小卷积核计算更少,层数更深,中间可以增加更多非线性层 - 使用了1*1的卷积层,可以看做是非线性变换(多通道信息压缩到更少通道):降低通道数,降低参数量
- 每经过一个pooling层,通道数目翻倍
- 使用fine-tuning加速训练
- 使用多尺度输入:不同的尺度,再提取224*224,解决图像缩放问题
3.ResNet
- 更深:ResNet-34与ResNet-101、ResNet-152
- 引入残差网络,残差子结构
不会增加参数量
残差结构使得网络需要学习的知识更少,容易学习(知识大部分在残差中)
残差结构使得每一层的数据分布接近,容易学习
恒等变换解决梯度消失问题 - 去掉了全连接层(强化了卷积层)
- 每个卷积层之后增加bn层
- 更多变种:
ResNetXt:引入分组卷积
DenseNet:更多的跳连
Wide-ResNet:加大网络宽度
4.InceptionNet(google)
- 增加网络宽度
不算是分组卷积,因为通道没有分割
一层上同时使用多种卷积核,看到各种层级的feature(从小到大的各种特征)
不同组之间的feature不交叉计算,减少了计算量 - 去掉了全连接层(强化了卷积)
- V1(GoogleNet)、V2(使用3*3替换5*5)、V3结构(使用1*3和3*1替换3*3)、V4结构(引入残差结构)
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 【神经网络与深度学习】卷积神经网络-进化史:从LeNet到AlexNet
- 卷积神经网络在图像分割中的进化史:从R-CNN到Mask R-CNN
- 【卷积神经网络-进化史】从LeNet到AlexNet
- 卷积神经网络-进化史 | 从LeNet到AlexNet
- [深度学习之CNN] 【卷积神经网络-进化史】从LeNet到AlexNet
- 【卷积神经网络-进化史】从LeNet到AlexNet
- [置顶] 【卷积神经网络-进化史】从LeNet到AlexNet
- 【卷积神经网络-进化史】从LeNet到AlexNet
- 【深度学习】【框架概述1】【卷积神经网络-进化史】从LeNet到AlexNet
- 卷积神经网络训练技巧
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-01-CNN基础知识点
- 神经网络:卷积神经网络CNN
- 基于空间金字塔池化的卷积神经网络物体检测
- 基于Python的卷积神经网络和特征提取
- 深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题(二)
- Deep Learning学习 之 卷积神经网络(CNN)
- 第一个 block 的进化
- cs231n 卷积神经网络与计算机视觉 5 神经网络基本结构 激活函数总结
- 一个程序员的进化史4
- 7-113 动物对象进化——类的继承