CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

CVPR2017

本文使用深度学习CNN网络来进行阴影去除，最大的特色就是全自动的端对端的实现阴影去除。 automatic and end-to-end deep neural network (DeshadowNet)

阴影去除也算是一个老大难问题了，目前存在的方法主要问题有如下三点：

1）Lack of a fully-automatic and end-to-end pipeline

2）Neglect high level semantic information， 目前大部分算法采用 low-level 特征， color ratios，color statistics 。但是阴影同样与 semantic contents 高度相关 (例如 geometry and material)

3）Require specific operation for penumbra regions 对于半阴影区域需要特别操作

针对阴影去除，目前还没有很好的数据库，我们自己建立了一个较大数据库

3 A New Dataset for Shadow Removal – SRD

自己拍照搞了 3088 图像对，主要考虑以下四个因素：Illumination，Scene，Reflectance，Silhouette



我们提出的 DeshadowNet 是 multi-context的，它综合 high-level semantic information, mid-level appearance information and local image details 这些信息来进行最终的预测， 这个 multi-context embedding 是通过三个子网络来实现的: global localization network (G-Net), appearance modeling network (A-Net), and semantic modeling network (S-Net)

G-Net 提取阴影特征表示来描述 场景中的全局结构和 high-level semantic context

G-Net extracts shadow feature representation to describe the global structure and high-level semantic context of the scene

A-Net 提取 G-Net 浅层中的 appearance 信息

A-Net acquire the appearance information from the shallower layer of G-Net

S-Net 提取 G-Net 深层中的 semantic 信息

S-Net acquire the semantic information from the deeper layer of G-Net

本文提出的网络结构



本文提出的网络结构中间结果的显示



网络模型参数设置



损失函数定义

我们采用了 Mean Squared Error (MSE) as the loss function in the log space

Training strategy

为了防止过拟合，我们采用以下训练策略：

1）Multi-stage training strategy 多阶段训练，先分开训练G-Net+A-Net and G-Net+S-Net，然后再整体训练

2） Multi-size training strategy 多尺度训练， coarse scale 64 × 64, medium scale 128 × 128, and fine scale 224 × 224

3）Data synthesis 合成更多的训练数据，60,000 640×480

4）Data augmentation 包括 image translations, flipping and cropping