YOLT——利用卷积神经网络对卫星影像进行多尺度目标检测

转载： https://yq.aliyun.com/articles/64445
摘要： 利用卷积神经网络（CNN）对卫星影像进行多尺度目标检测，该文是在YOLO模型的基础上改进提出YOLT模型，该方法极大的提高了背景区分，并能够在不同尺度和多个传感器上快速检测出物体。

本文由北邮@爱可可-爱生活 老师推荐，阿里云云栖社区组织翻译。

以下为译文： 

利用卷积神经网络，对于卫星影像中多尺度目标检测而言，你只需要看两次（Part I）

在大片物体中检测小物体一直是卫星图像分析感兴趣的主要点之一。早期的工作是利用本地滑动窗和HOG特征描述确定船的位置，但存在的缺点是高度不均匀背景下分辨不清晰。为了解决这一问题，实现了一种基于“你只要看两眼”的物体检测流水线，该方法极大的提高了背景区分，并能够在不同尺度和多个传感器上快速检测出物体。
<!--[if !supportLists]-->1 卫星图像目标检测概述

卫星图像库与ImageNet数据库不一样，存在四个问题：卫星图像的对象往往是非常小的并围绕成一个圆、输入图像巨大、训练数据相对缺乏；积极的一面是物体的物理和像素规模是实现已知的，观察角度也是低变化的。


 
图1.
《纽约时报》截图显示俄罗斯设计的武器实物模型愚弄遥感仪器。

<!--[if !supportLists]-->2 HOG船检测挑战

HOG+滑动窗物体检测方法在前期工作中取得瞩目成果，为了探索该方法的限制，将其应用于场景不太均匀的背景。


 
图2.HOG+滑动窗应用于不同传感器的结果。假阴性显示是红色，手工标记显示是黄色，误报显示是蓝色，真阳性显示是绿色
<!--[if !supportLists]-->3 使用深度学习进行物体检测

在卫星图像上采用YOLO框架去完成目标检测，该框架使用了单一的卷积层（CNN）去预测类别和边界。这种快速方法结合获取背景信息的能力使得其应用在卫星图像中是引人注目的。

CNN与滑动窗结合的方法可以取得客观的效果，但是难以计算。另外一个缺点是，滑动窗只可以看到图像的一小部分，从而丢弃有用的背景信息。该YOLO框架解决了背景差异的问题，并扩展成大的数据集。


 
图3. 说明YOLO框架的缺省

该框架确实是有些局限性，但在文献中封装了三个问题，具体问题可以参看文献和原文。

针对这些问题，提出了YOLT框架，解决了上述的三个问题，分别使用滑动窗上采样以寻找小的物体、在多尺度上运行探测器；增加训练数据；定义新的网络架构使得最后的卷积层有更紧密的网格。

YOLT框架的输出的后处理结合了各种图形芯片，这些修改使得每秒44帧的速度降低为每秒18帧。如果寻找密集物体不是必须的，最大图形尺寸应该会增加2-4倍。
<!--[if !supportLists]-->4 YOLT训练数据

训练数据收集大图像中的小块，每个对象的标签是由边界框和类标识符组成。
主要集中以下四类：

 开放水域的船

 在港湾的船

 飞机

 飞机场

<!--[if !supportLists]-->



图4. YOLT训练数据


 
图5. 训练图像在色相和饱和度上旋转和缩放
<!--[if !supportLists]-->5 YOLT目标检测结果

对评估测试图像使用相同的评价标准；对于海上区域的评估，关注相同的区域。在硬件上仿真后，与之前方法的结果相比，HOG+滑动窗是用来训练分类船和船的航向，而YOLT是用来训练产生船和飞机的位置信息。具体性能分析请见原文。


 
图6. YOLT在AOI1的性能


 
图7. YOLT在AOI2的性能



图8. YOLT在AOI3的性能 



图9. YOLT在AOI4的性能

  


图10. YOLT在美济礁使用如图2所示的相同卫星测试的结果


 
图11. YOLT应用到苏伊士运河的南入口的卫星图像
 


图12. YOLT检测应用到DigitalGlobe图像中，上图拍摄于希斯罗机场
<!--[if !supportLists]-->6 结论

这篇文章中，展示了一个经典机器学习技术应用于卫星图像目标检测的局限性；为了解决这个局限性，实现了一个完全卷积神经网络分类（YOLT）去快速获得卫星图像中的船只和飞机的位置，在稀疏场景的分类性能证明比HOG+滑动窗方法更好。

在Part II部分，将探讨在完全不同尺度上检测目标，比如在船只、飞机和跑道上的挑战。

文章原标题《You Only Look Twice — Multi-Scale Object Detection in Satellite Imagery With Convolutional Neural Networks (Part I)》，作者：Adam Van Etten

文章为简译，更为详细的内容，请查看原文

                                             翻译：海棠