Analysis of Computational Complexity and Space Complexity (NN algorithem)

convolution layer

对于卷积层，每个输入的特征图有一个大小为Fw∗Fh的卷积核，并产生Wcout∗Hcout大小的输出特征图。同时输入输出特征图数量分别为Nin,Ncout

对于每个元素需要乘法和加法两种操作，则卷积层所有的操作为

Cconv=2∗Nin∗Fw∗Fh∗Wcout∗Hcout∗Ncout

relu激活层

对于RELU激活层，则对于每个单元，仅有一个操作（比较操作），则结果为

Crelu=Ncout

pooling layer

下采样层中，每个filter的大小为Pw∗Ph，产生Npout个大小为Wpout∗Hpout的输出图像，则pooling layer的所有操作为

Cpool=Pw∗Ph∗Wpout∗Hpout∗Npout

FC layer

全链接层中，输入特征数量和权重的进行乘加操作，则结果为

CFC=2∗Nfcin∗Nfcout

权重数据

SConv=w2∗Ncin∗Ncout

fc层

SConv=NFCin∗NFCout

对于VGG16模型，统计如下表



from paper:Acceleration of Deep Learning on FPGA