DenseNet-阅读理解-笔记

论文:Densely Connected Convolutional Networks

翻译:-.-

理解参考:http://blog.csdn.net/u012938704/article/details/53468483

https://zhuanlan.zhihu.com/p/28859470

http://blog.csdn.net/u014380165/article/details/75142664

核心技术,创新点:

DenseBlock

在一个DenseBlock中,每一层的输入来自与前面所有层的输出.

从而达到有效利用feature,加强feature传递,减轻梯度消失的作用.从而使得网络的深度可以更加的深.



DenseBlock同时具有网络更窄,参数更少的特点

ResNet:xl=Hl(xl−1)+xl−1

DenseNet:xl=Hl([x0,x1,x2......,xl−1])

完整的DenseNet结构图:



实际使用的每个layer的参数



Bottleneck Layer(BN layer)

即每个3x3的layer前的1x1layer,作用是减少输入的feature map数量(维度?)，既能降维减少计算量，又能融合各个通道的特征.

Transition Layer

每两个Dense Block之间的1x1layer即为Transition Layer,作用是降维

突出贡献:

建立了不同层之间的直接连接关系,充分的利用了每一步得到的feature,进一步减轻了梯度消失问题,使得网络可以非常非常深,同时精确度不会下降,减少输入的feature map数量，既能降维减少计算量，又能融合各个通道的特征