压缩神经网格（二）：融合分支的思想

DeepRebirth: A General Approach For Accelerating deep neural Network Execution on mobile devices

研究背景

通过权重压缩后的神经网络，虽然模型的大小变小了，但是执行时间和耗能上性能还是一般。我们发现，不含tensor参数的层（non-tensor层）的执行时间很长，基于这个问题，论文中提出了两种将non-tensor层融入tensor层的方法：流合并（streaming merging），分支合并（branch merging）。

目标

正确率损失小

利用现有的深度学习的框架

适用于神经网络的不同的结构组件（pooling，LRN， 卷积，全连接）

DEEPREBIRTH

[b]streaming merging（垂直合并）[/b]

情况说明;

1. 一般的non-tensor层都跟在一个tensor层后面。

2. 几个连续的层就可以被看成是一个具有非线性转换功能的黑盒子（感觉后面并没有用上。）

融合方案;

1. 将pooling层的步长（stride）直接加入到卷积层里。

2. 直接删掉了LRN和批量归一化层。



[b]Branch merging（水平合并）[/b]

选择用来融入non-tensor的tensor branch的核必须大于non-tensor 。

将non-tensor branch 合并到 tensor branch后，必须增加tensor baranch的输出通道数。已达到和合并前一样的结构，不至于影响下一层。

增加输出通道会使得参数tensor变大，为了减少这个，我们可以减少上一层的输出数。



[b]说明[/b]

文中的翻译，全是自己瞎翻译的，重在领会精神。