实时语义分割--ICNet for Real-Time Semantic Segmentation on High-Resolution Images

ICNet for Real-Time Semantic Segmentation on High-Resolution Images

https://hszhao.github.io/projects/icnet/

https://github.com/hszhao/ICNet

本文针对高分辨率图像语义分割问题，引入 Cascade 思想 实现实时语义分割。

延伸阅读：

Not All Pixels Are Equal：Difficulty-Aware Semantic Segmentation via Deep Layer Cascade

Scene Parsing through ADE20K Dataset

首先来对比一下各个语义分割算法的速度和精度对比：



在 PSPNet 算法对于分辨率为 1024 × 2048 和 512 × 1024 的时间



stage5 的卷积核个数是 stage4的两倍

3.2. Intuitive Speedup

Downsampling Input 对输入图像降采样来提速



这个思路的缺点就是精度下降的比较厉害

Downsampling Feature 对特征图进行降采样来提速



这个思路达不到实时语义分割的要求

Model Compression 模型压缩

这里我们采用了 文献【13】的方法，效果不是很理想



4 Our Image Cascade Network



这里我们输入三个尺度的图像：Low Resolution 对应 sub4，Median Resolution 对应 sub24，

High Resolution 对应 sub124



多尺度特征图信息的融合通过 Cascade feature fusion unit





Cityscapes 效果：