图像处理与计算机视觉：基础，经典以及最近发展（4）图像处理与分析

Last update: 2012-6-3

本章主要讨论图像处理与分析。虽然后面计算机视觉部分的有些内容比如特征提取等也可以归结到图像分析中来，但鉴于它们与计算机视觉的紧密联系，以及它们的出处，没有把它们纳入到图像处理与分析中来。同样，这里面也有一些也可以划归到计算机视觉中去。这都不重要，只要知道有这么个方法，能为自己所用，或者从中得到灵感，这就够了。
本章的下载地址在：
http://iask.sina.com.cn/u/2252291285/ish?folderid=868771

1. Bilateral Filter

Bilateral Filter俗称双边滤波器是一种简单实用的具有保持边缘作用的平缓滤波器，由Tomasi等在1998年提出。它现在已经发挥着重大作用，尤其是在HDR领域。
[1998 ICCV] BilateralFiltering for Gray and Color Images
[2008 TIP] AdaptiveBilateral Filter for Sharpness Enhancement and Noise Removal

2. Color

如果对颜色的形成有一定的了解，能比较深刻的理解一些算法。这方面推荐冈萨雷斯的数字图像处理中的相关章节以及Sharma在Digital Color Imaging Handbook中的第一章“Colorfundamentals for digital imaging”。跟颜色相关的知识包括Gamma，颜色空间转换，颜色索引以及肤色模型等，这其中也包括著名的EMD。
[1991 IJCV] Color Indexing
[2000 IJCV] The EarthMover's Distance as a Metric for Image Retrieval
[2001 PAMI] Colorinvariance
[2002 IJCV] StatisticalColor Models with Application to Skin Detection
[2003] A review of RGBcolor spaces
[2007 PR]A survey ofskin-color modeling and detection methods
Gamma.pdf
GammaFAQ.pdf

3.Compression and Encoding

个人以为图像压缩编码并不是当前很热的一个话题，原因前面已经提到过。这里可以看看一篇对编码方面的展望文章
[2005 IEEE] Trends andperspectives in image and video coding

4.Contrast Enhancement

对比度增强一直是图像处理中的一个恒久话题，一般来说都是基于直方图的，比如直方图均衡化。冈萨雷斯的书里面对这个话题讲的比较透彻。这里推荐几篇个人认为不错的文章。
[2002 IJCV] Vision and theAtmosphere
[2003 TIP] Gray and colorimage contrast enhancement by the curvelet transform
[2006 TIP] Gray-levelgrouping (GLG) an automatic method for optimized image contrastenhancement-part II
[2006 TIP] Gray-levelgrouping (GLG) an automatic method for optimized image contrastEnhancement-part I
[2007 TIP] TransformCoefficient Histogram-Based Image Enhancement Algorithms Using Contrast Entropy
[2009 TIP] A HistogramModification Framework and Its Application for Image Contrast Enhancement

5. Deblur (Restoration)

图像恢复或者图像去模糊一直是一个非常难的问题，尤其是盲图像恢复。港中文的jiaya jia老师在这方面做的不错，他在主页也给出了exe。这方面的内容也建议看冈萨雷斯的书。这里列出了几篇口碑比较好的文献，包括古老的Richardson-Lucy方法，几篇盲图像恢复的综述以及最近的几篇文章，尤以Fergus和Jiaya Jia的为经典。
[1972] Bayesian-BasedIterative Method of Image Restoration
[1974] an iterative techniquefor the rectification of observed distributions
[1990 IEEE] Iterativemethods for image deblurring
[1996 SPM] Blind ImageDeconvolution
[1997 SPM] Digital imagerestoration
[2005] Digital ImageReconstruction - Deblurring and Denoising
[2006 Siggraph] RemovingCamera Shake from a Single Photograph
[2008 Siggraph]High-quality Motion Deblurring from a Single Image
[2011 PAMI]Richardson-Lucy Deblurring for Scenes under a Projective Motion Path

6. Dehazing and Defog

严格来说去雾化也算是图像对比度增强的一种。这方面最近比较好的工作就是He kaiming等提出的Dark Channel方法。这篇论文也获得了2009的CVPR 最佳论文奖。2003年的广东高考状元已经于2011年从港中文博士毕业加入MSRA（估计当时也就二十五六岁吧），相当了不起。
[2008 Siggraph] SingleImage Dehazing
[2009 CVPR] Single ImageHaze Removal Using Dark Channel Prior
[2011 PAMI] Single ImageHaze Removal Using Dark Channel Prior

7. Denoising

图像去噪也是图像处理中的一个经典问题，在数码摄影中尤其重要。主要的方法有基于小波的方法和基于偏微分方程的方法。
[1992 SIAM] Imageselective smoothing and edge detection by nonlinear diffusion. II
[1992 SIAM] Imageselective smoothing and edge detection by nonlinear diffusion
[1992] Nonlinear totalvariation based noise removal algorithms
[1994 SIAM] Signal andimage restoration using shock filters and anisotropic diffusion
[1995 TIT] De-noising bysoft-thresholding
[1998 TIP] Orientationdiffusions
[2000 TIP] Adaptivewavelet thresholding for image denoising and compression
[2000 TIP] Fourth-orderpartial differential equations for noise removal
[2001] Denoising through wavelet shrinkage
[2002 TIP] The CurveletTransform for Image Denoising
[2003 TIP] Noise removalusing fourth-order partial differential equation with applications to medicalmagnetic resonance images in space and time
[2008 PAMI] AutomaticEstimation and Removal of Noise from a Single Image
[2009 TIP] Is DenoisingDead

8. Edge Detection

边缘检测也是图像处理中的一个基本任务。传统的边缘检测方法有基于梯度算子，尤其是Sobel算子，以及经典的Canny边缘检测。到现在，Canny边缘检测及其思想仍在广泛使用。关于Canny算法的具体细节可以在Sonka的书以及canny自己的论文中找到，网上也可以搜到。最快最直接的方法就是看OpenCV的源代码，非常好懂。在边缘检测方面，Berkeley的大牛J Malik和他的学生在2004年的PAMI提出的方法效果非常好，当然也比较复杂。在复杂度要求不高的情况下，还是值得一试的。MIT的Bill
Freeman早期的代表作Steerable Filter在边缘检测方面效果也非常好，并且便于实现。这里给出了几篇比较好的文献，包括一篇最新的综述。边缘检测是图像处理和计算机视觉中任何方向都无法逃避的一个问题，这方面研究多深都不为过。
[1980] theory of edgedetection
[1983 Canny Thesis] findedge
[1986 PAMI] AComputational Approach to Edge Detection
[1990 PAMI] Scale-spaceand edge detection using anisotropic diffusion
[1991 PAMI] The design anduse of steerable filters
[1995 PR] Multiresolutionedge detection techniques
[1996 TIP] Optimal edgedetection in two-dimensional images
[1998 PAMI] Local ScaleControl for Edge Detection and Blur Estimation
[2003 PAMI] Statisticaledge detection_ learning and evaluating edge cues
[2004 IEEE] Edge DetectionRevisited
[2004 PAMI] Design ofsteerable filters for feature detection using canny-like criteria
[2004 PAMI] Learning toDetect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues
[2011 IVC] Edge and lineoriented contour detection State of the art

9. Graph Cut

基于图割的图像分割算法。在这方面没有研究，仅仅列出几篇引用比较高的文献。这里又见J Malik，当然还有华人杰出学者Jianbo Shi，他的主页非常搞笑，在醒目的位置标注Do not flyChina Eastern Airlines ...
看来是被坑过，而且坑的比较厉害。这个领域，俄罗斯人比较厉害。
[2000 PAMI] Normalizedcuts and image segmentation
[2001 PAMI] Fastapproximate energy minimization via graph cuts
[2004 PAMI] What energyfunctions can be minimized via graph cuts

10.Hough Transform

虽然霍夫变换可以扩展到广义霍夫变换，但最常用的还是检测圆和直线。这方面同样推荐看OpenCV的源代码，一目了然。Matas在2000年提出的PPHT已经集成到OpenCV中去了。
[1986 CVGIU] A Survey ofthe Hough Transform
[1989] A Comparative studyof Hough transform methods for circle finding
[1992 PAMI] Shapesrecognition using the straight line Hough transform_ theory and generalization
[1997 PR] Extraction ofline features in a noisy image
[2000 CVIU] RobustDetection of Lines Using the Progressive Probabilistic Hough Transform

11. Image Interpolation

图像插值，偶尔也用得上。一般来说，双三次也就够了
[2000 TMI] Interpolationrevisited

12. Image Matting

也就是最近，我才知道这个词翻译成中文是抠图，比较难听，不知道是谁开始这么翻译的。没有研究，请看文章以及Richard Szeliski的相关章节。以色列美女Levin在这方面有两篇PAMI。
[2008 Fnd] Image and VideoMatting A Survey
[2008 PAMI] A Closed-FormSolution to Natural Image Matting
[2008 PAMI] SpectralMatting

13. Image Modeling

图像的统计模型。这方面有一本专门的著作Natural Image Statistics
[1994] The statistics ofnatural images
[2003 JMIV] On Advances inStatistical Modeling of Natural Images
[2009 IJCV] Fields ofExperts
[2009 PAMI] Modelingmultiscale subbands of photographic images with fields of Gaussian scalemixtures

14. Image Quality Assessment

在图像质量评价方面，Bovik是首屈一指的。这位老师也很有意思，作为编辑出版了很多书。他也是IEEE的Fellow
[2004 TIP] Image qualityassessment from error visibility to structural similarity
[2011 TIP] blind imagequality assessment From Natural Scene Statistics to Perceptual Quality

15. Image Registration

图像配准最早的应用在医学图像上，在图像融合之前需要对图像进行配准。在现在的计算机视觉中，配准也是一个需要理解的概念，比如跟踪，拼接等。在KLT中，也会涉及到配准。这里主要是综述文献。
[1992 MIA] Image matching asa diffusion process
[1992 PAMI] A Method forRegistration of 3-D shapes
[1992] a survey of imageregistration techniques
[1998 MIA] A survey ofmedical image registration
[2003 IVC] Imageregistration methods a survey
[2003 TMI]Mutual-Information-Based Registration of Medical Survey
[2011 TIP] Hairisregistration

16. Image Retrieval

图像检索曾经很热，在2000年之后似乎消停了一段时间。最近各种图像的不变性特征提出来之后，再加上互联网搜索的商业需求，这个方向似乎又要火起来了，尤其是在工业界。这仍然是一个非常值得关注的方面。而且图像检索与目标识别具有相通之处，比如特征提取和特征降维。这方面的文章值得一读。在最后给出了两篇Book chapter，其中一篇还是中文的。
[2000 PAMI] Content-basedimage retrieval at the end of the early years
[2000 TIP] PicToSeekCombining Color and Shape Invariant Features for Image Retrieval
[2002] Content-Based ImageRetrieval Systems A Survey
[2008] Content-Based ImageRetrieval-Literature Survey
[2010] Plant ImageRetrieval Using Color,Shape and Texture Features
[2012 PAMI] A MultimediaRetrieval Framework Based on Semi-Supervised Ranking and Relevance Feedback
CBIR Chinese
fundament of cbir

17. Image Segmentation

图像分割，非常基本但又非常难的一个问题。建议看Sonka和冈萨雷斯的书。这里给出几篇比较好的文章，再次看到了J Malik。他们给出了源代码和测试集，有兴趣的话可以试试。
[2004 IJCV] EfficientGraph-Based Image Segmentation
[2008 CVIU] Imagesegmentation evaluation A survey of unsupervised methods
[2011 PAMI] ContourDetection and Hierarchical Image Segmentation

18. Level Set

大名鼎鼎的水平集，解决了Snake固有的缺点。Level set的两位提出者Sethian和Osher最后反目，实在让人遗憾。个人以为，这种方法除了迭代比较费时，在真实场景中的表现让人生疑。不过，2008年ECCV上的PWP方法在结果上很吸引人。在重初始化方面，Chunming Li给出了比较好的解决方案
[1995 PAMI] Shape modelingwith front propagation_ a level set approach
[2001 JCP] Level SetMethods_ An Overview and Some Recent Results
[2005 CVIU] Geodesicactive regions and level set methods for motion estimation and tracking
[2007 IJCV] A Review ofStatistical Approaches to Level Set Segmentation
[2008 ECCV] RobustReal-Time Visual Tracking using Pixel-Wise Posteriors
[2010 TIP] DistanceRegularized Level Set Evolution and its Application to Image Segmentation

19.Pyramid

其实小波变换就是一种金字塔分解算法，而且具有无失真重构和非冗余的优点。Adelson在1983年提出的Pyramid优点是比较简单，实现起来比较方便。
[1983] The LaplacianPyramid as a Compact Image Code

20. Radon Transform

Radon变换也是一种很重要的变换，它构成了图像重建的基础。关于图像重建和radon变换，可以参考章毓晋老师的书，讲的比较清楚。
[1993 PAMI] Imagerepresentation via a finite Radon transform
[1993 TIP] The fastdiscrete radon transform I theory
[2007 IVC] Generalisedfinite radon transform for N×N images

21.Scale Space

尺度空间滤波在现代不变特征中是一个非常重要的概念，有人说SIFT的提出者Lowe是不变特征之父，而Linderburg是不变特征之母。虽然尺度空间滤波是Witkin最早提出的，但其理论体系的完善和应用还是Linderburg的功劳。其在1998年IJCV上的两篇文章值得一读，不管是特征提取方面还是边缘检测方面。
[1987] Scale-spacefiltering
[1990 PAMI] Scale-Spacefor Discrete Signals
[1994] Scale-space theoryA basic tool for analysing structures at different scales
[1998 IJCV] Edge Detectionand Ridge Detection with Automatic Scale Selection
[1998 IJCV] FeatureDetection with Automatic Scale Selection

22. Snake

活动轮廓模型，改变了传统的图像分割的方法，用能量收缩的方法得到一个统计意义上的能量最小（最大）的边缘。
[1987 IJCV] Snakes ActiveContour Models
[1996 ] deformable modelin medical image A Survey
[1997 IJCV] geodesicactive contour
[1998 TIP] Snakes, shapes,and gradient vector flow
[2000 PAMI] Geodesic activecontours and level sets for the detection and tracking of moving objects
[2001 TIP] Active contourswithout edges

23. Super Resolution

超分辨率分析。对这个方向没有研究，简单列几篇文章。其中Yang Jianchao的那篇在IEEE上的下载率一直居高不下。
[2002] Example-BasedSuper-Resolution
[2003 SPM] Super-Resolution Image Reconstruction A Technical Overview

[2009 ICCV] Super-Resolutionfrom a Single Image
[2010 TIP] ImageSuper-Resolution Via Sparse Representation

24. Thresholding

阈值分割是一种简单有效的图像分割算法。这个topic在冈萨雷斯的书里面讲的比较多。这里列出OTSU的原始文章以及一篇不错的综述。
[1979 IEEE] OTSU Athreshold selection method from gray-level histograms
[2001 JISE] A Fast Algorithmfor Multilevel Thresholding
[2004 JEI] Survey overimage thresholding techniques and quantitative performance evaluation

25. Watershed

分水岭算法是一种非常有效的图像分割算法，它克服了传统的阈值分割方法的缺点，尤其是Marker-Controlled Watershed，值得关注。Watershed在冈萨雷斯的书里面讲的比较详细。
[1991 PAMI] Watersheds indigital spaces an efficient algorithm based on immersion simulations
[2001]The WatershedTransform Definitions, Algorithms and Parallelizat on Strategies