OpenCV_轮廓的查找、表达、绘制、特性及匹配

先吐槽：操蛋的opencv 大三开始就让我纠结各种函数 ，本事研究生阶段该搞得


下面几天我会做关于图像周长 宽高 的提取 以及rgb均值，现在先奉上自己搜集的资料，主要是关于轮廓函数的一些应用！

虽然Canny之类的边缘检测算法可以根据像素间的差异检测出轮廓边界的像素，但是它并没有将轮廓作为一个整体。下一步是要将这些边缘像素组装成轮廓。

轮廓是构成任何一个形状的边界或外形线。直方图对比和模板匹配根据色彩及色彩的分布来进行匹配，以下包括：轮廓的查找、表达方式、组织方式、绘制、特性、匹配。

首先回忆下几个结构体：

首先是图像本身的结构体：

typedef struct CvMat

{

int type; /* CvMat 标识 (CV_MAT_MAGIC_VAL), 元素类型和标记 */

int step; /* 以字节为单位的行数据长度*/

int* refcount; /* 数据引用计数 */

union

{

uchar* ptr;

short* s;

int* i;

float* fl;

double* db;

} data;

union

{

int rows;

int height;

};

union

{

int cols;

int width;

};

这个结构体是最基础的矩阵，而图像本身就是一个复杂的矩阵，所以图像是对这个结构体的继承：

typedef struct _IplImage

{

int nSize; /* IplImage大小 */

int ID; /* 版本 (=0)*/

int nChannels; /* 大多数OPENCV函数支持1,2,3 或 4 个通道 */

int alphaChannel; /* 被OpenCV忽略 */

int depth; /* 像素的位深度: IPL_DEPTH_8U, IPL_DEPTH_8S, IPL_DEPTH_16U,

IPL_DEPTH_16S, IPL_DEPTH_32S, IPL_DEPTH_32F and IPL_DEPTH_64F 可支持 */

char colorModel[4]; /* 被OpenCV忽略 */

char channelSeq[4]; /* 同上 */

int dataOrder; /* 0 - 交叉存取颜色通道, 1 - 分开的颜色通道.

cvCreateImage只能创建交叉存取图像 */

int origin; /* 0 - 顶—左结构,1 - 底—左结构 (Windows bitmaps 风格) */

int align; /* 图像行排列 (4 or 8). OpenCV 忽略它，使用 widthStep 代替 */

int width; /* 图像宽像素数 */

int height; /* 图像高像素数*/

struct _IplROI *roi;/* 图像感兴趣区域. 当该值非空只对该区域进行处理 */

struct _IplImage *maskROI; /* 在 OpenCV中必须置NULL */

void *imageId; /* 同上*/

struct _IplTileInfo *tileInfo; /*同上*/

int imageSize; /* 图像数据大小(在交叉存取格式下imageSize=image->height*image->widthStep），单位字节*/

char *imageData; /* 指向排列的图像数据 */

int widthStep; /* 排列的图像行大小，以字节为单位 */

int BorderMode[4]; /* 边际结束模式, 被OpenCV忽略 */

int BorderConst[4]; /* 同上 */

char *imageDataOrigin; /* 指针指向一个不同的图像数据结构（不是必须排列的），是为了纠正图像内存分配准备的 */

}IplImage;

值得注意的地方：首先是origin这个，当有些图像复制或者视频播放时候，由于原点坐标位置未定，很容造成图片倒置。这时就得用void cvFlip( const CvArr* src, CvArr* dst=NULL, int flip_mode=0)函数或者直接设定origin来改变坐标原点；widthstep就是CvMat的step；

构造方法：IplImage* cvCreateImage( CvSize size, int depth, int channels );

直方图结构：

typedef struct CvHistogram

{

int type;

CvArr* bins;

float thresh[CV_MAX_DIM][2]; /* 对于标准直方图，bins的值有左边界+右边界=2 */

float** thresh2; /* 对于非标准直方图 */

CvMatND mat; /* embedded matrix header for array histograms */

}CvHistogram;

因此，由于直方图的复杂性，得到一个图片的直方图的步骤就不是一个函数完成的：

1，分割图片通道

2，求出bins数量及范围

3，CvHistogram* cvCreateHist( int dims, int* sizes, int type,float** ranges=NULL, int uniform=1 );

创建直方图

4，void cvCalcHist( IplImage** image, CvHistogram* hist,int accumulate=0, const CvArr* mask=NULL );

计算直方图

下面开始轮廓的学习。

查找轮廓

首先是如何在图像中找到轮廓，可以利用OpenCV提供的方法cvFindContours（）可以很方便的查找轮廓。

cvFindContours()方法从二值图像中寻找轮廓。因此此方法处理的图像可以是从cvCanny（）函数得到的有边缘像素的图像，或者从cvThreshold（）及cvAdaptiveThreshold（）得到的图像，这时的边缘是正和负区域之间的边界。

既然在查找之前，我们需要将彩色图像转换成灰度图像，然后再将灰度图像转换成二值图像。代码如下所示：

1  CvSeq *contours = 0;
2  cvCvtColor(src,dst,CV_BGR2GRAY);//将源图像进行灰度化
3  cvThreshold(dst,dst,f_thresh,255,CV_THRESH_BINARY);//二值化阈值 虽然第一个参数是const,但仍可以更改dst
4  cvFindContours(dst,f_storage,&contours); //查找轮廓
5  cvZero(dst);

轮廓的表达方式

使用上面的代码可以得到图像的默认轮廓，但是轮廓在电脑中是如何表达的呢？在OpenCv中提供了两类表达轮廓的方式：顶点的序列、Freeman链码。

首先介绍下内存存储器的概念，这是OpenCV在创建动态对象时存取内存的技术。

CvMemStorage* cvCreateMemStorage( int block_size=0 );//创建默认值大小的内存空间

void cvReleaseMemStorage( CvMemStorage** storage );//释放内存空间

void cvClearMemStorage( CvMemStorage* storage );//清空内存块，可以用于重复使用，将内存返还给存储器，而不是返回给系统

void *cvMemStorageAlloc(CvMemStorage *storage,size_t size);//开辟内存空间

序列

序列是内存存储器中可以存储的一种对象。序列是某种结构的链表。序列在内存中被实现为一个双端队列，因此序列可以实习快速的随机访问，以及快速删除顶端的元素，但是从中间删除元素则稍慢些。

序列结构：

CvSeq

可动态增长元素序列(OpenCV_1.0已发生改变，详见cxtypes.h) Growable sequence of elements

#define CV_SEQUENCE_FIELDS() /

int flags; /* micsellaneous flags */ /

int header_size; /* size of sequence header */ /

struct CvSeq* h_prev; /* previous sequence */ /

struct CvSeq* h_next; /* next sequence */ /

struct CvSeq* v_prev; /* 2nd previous sequence */ /

struct CvSeq* v_next; /* 2nd next sequence */ /

int total; /* total number of elements */ /

int elem_size;/* size of sequence element in bytes */ /

char* block_max;/* maximal bound of the last block */ /

char* ptr; /* current write pointer */ /

int delta_elems; /* how many elements allocated when the sequence grows (sequence granularity) */ /

CvMemStorage* storage; /* where the seq is stored */ /

CvSeqBlock* free_blocks; /* free blocks list */ /

CvSeqBlock* first; /* pointer to the first sequence block */

typedef struct CvSeq

{

CV_SEQUENCE_FIELDS()

} CvSeq;

相关操作就不重复列出(排序，查找，逆序，拆分，复制，读取，写入切片的复制，移除，插入，)，可以查找相关文档。

1.顶点的序列

用多个顶点（或各点间的线段）来表达轮廓。假设要表达一个从(0,0)到(2,2)的矩形，

（1）如果用点来表示，那么依次存储的可能是：(0,0),(1,0),(2,0),(2,1),(2,2),(1,2),(0,2),(0,1)；

（2）如果用点间的线段来表达轮廓，那么依次存储的可能是：(0,0),(2,0),(2,2),(0,2)。

2.Freeman链码

Freeman链码需要一个起点，以及从起点出发的一系列位移。每个位移有8个方向，从0～7分别指向从正北开始的8个方向。假设要用Freeman链码表达从(0,0)到(2,2)的矩形，可能的表示方法是：起点(0,0),方向链2,2,4,4,6,6,0,0。

轮廓之间的组织方式

在查找到轮廓之后，不同轮廓是怎么组织的呢？根据不同的选择，它们可能是：（1）列表；（2）双层结构；（3）树型结构。

从纵向上来看，列表只有一层，双层结构有一或者两层，树型结构可能有一层或者多层。

如果要遍历所有的轮廓，可以使用递归的方式。

轮廓的绘制

轮廓的绘制比较简单，用上面提到的方法取得轮廓的所有点，然后把这些点连接成一个多边形即可。

轮廓的一个例子为：OpenCV_轮廓例子

上例中检测出输入图像的轮廓，然后逐个绘制每个轮廓。下个例子为：

在输入图像上寻找并绘制轮廓

具体代码为：


轮廓例子

轮廓的特性

轮廓的特性有很多，下面一一介绍。

1.轮廓的多边形逼近

轮廓的多边形逼近指的是：使用多边形来近似表示一个轮廓。

多边形逼近的目的是为了减少轮廓的顶点数目。

多边形逼近的结果依然是一个轮廓，只是这个轮廓相对要粗旷一些。

可以使用方法cvApproxPoly()

2.轮廓的关键点

轮廓的关键点是：轮廓上包含曲线信息比较多的点。关键点是轮廓顶点的子集。

可以使用cvFindDominantPoints函数来获取轮廓上的关键点，该函数返回的结果一个包含 关键点在轮廓顶点中索引 的序列。再次强调：是索引，不是具体的点。如果要得到关键点的具体坐标，可以用索引到轮廓上去找。

3.轮廓的周长和面积

轮廓的周长可以用cvContourPerimeter或者cvArcLength函数来获取。

轮廓的面积可以用cvContourArea函数来获取。

4.轮廓的边界框

有三种常见的边界框：矩形、圆形、椭圆。

（1）矩形：在图像处理系统中提供了一种叫Rectangle的矩形，不过它只能表达边垂直或水平的特例；OpenCv中还有一种叫Box的矩形，它跟数学上的矩形一致，只要4个角是直角即可。

如果要获取轮廓的Rectangle，可以使用cvBoundingRect函数。

如果要获取轮廓的Box，可以使用cvMinAreaRect2函数。

（2）圆形

如果要获取轮廓的圆形边界框，可以使用cvMinEnclosingCircle函数。

（3）椭圆

如果要获取轮廓的椭圆边界框，可以使用cvFitEllipse2函数。

5.轮廓的矩

矩是通过对轮廓上所有点进行积分运算（或者认为是求和运算）而得到的一个粗略特征。

在连续情况下，图像函数为

f(x,y)，那么图像的p+q阶几何矩（标准矩）定义为：


p ,q = 0,1,2……

p+q阶中心距定义为：


p,q = 0,1,2……

其中

和

代表图像的重心，


,


对于离散的数字图像，采用求和号代替积分：


,

,p,q
= 0,1,2 ……

N和M分别是图像的高度和宽度；

归一化的中心距定义为：

；其中


在公式中，p对应x维度上的矩，q对应y维度上的矩，阶数表示对应的部分的指数。该计算是对轮廓界上所有像素（数目为n）进行求和。如果p和q全部为0，那么m00实际上对应轮廓边界上点的数目。

虽然可以直接计算出轮廓的矩，但是经常会用到归一化的矩（因此不同大小但是形状相同的物体会有相同的值）。同样，简单的矩依赖于所选坐标系，这意味着物体旋转后就无法正确匹配。

于是就产生了Hu矩以及其他归一化矩的函数。

Hu矩是归一化中心矩的线性组合。之所以这样做是为了能够获取代表图像某个特征的矩函数。这些矩函数对缩放，旋转和镜像映射出了（h1）具有不变性。

Hu矩是从中心矩中计算得到。即七个由归一化中心矩组合成的矩:



其中中心矩和归一化中心矩的定义为：





我们可以使用cvContoursMoments函数、cvMoments函数方便的得到轮廓的矩集，然后再相应的方法或函数获取各种矩。

特定的矩：cvGetSpatialMoment函数

中心矩：cvGetCentralMoment函数

归一化中心矩：cvGetNormalizedCentralMoment函数

Hu矩：cvGetHuMoments函数

6.轮廓的轮廓树

轮廓树用来描述某个特定轮廓的内部特征。注意：轮廓树跟轮廓是一一对应的关系；轮廓树不用于描述多个轮廓之间的层次关系。

轮廓树的创建过程：

从一个轮廓创建一个轮廓树是从底端（叶子节点）到顶端（根节点）的。首先搜索三角形突出或者凹陷的形状的周边（轮廓上的每一个点都不是完全和它的相邻点共线的）每个这样的三角形被一条线段代替，这条线段通过连接非相邻点的两点得到；因此实际上三角形或者被削平或者被填满。每个这样的替换都把轮廓的顶点减少，并且给轮廓树创建一个新节点。如果这样的一个三角形的两侧有原始边，那么她就是得到的轮廓树的叶子；如果一侧已是一个三角形，那么它就是那个三角形的父节点。这个过程的迭代最终把物体的外形简称一个四边形，这个四边形也被剖开；得到的两个三角形是根节点的两个子节点。

结果的二分树最终将原始轮廓的形状性比编码。每个节点被它所对应的三角形的信息所注释。

这样建立的轮廓树并不太鲁棒，因为轮廓上小的改变也可能会彻底改变结果的树，同时最初的三角形是任意选取的。为了得到较好的描述需要首先使用函数cvApproxPoly（）之后将轮廓排列（运用循环移动）成最初的三角形不怎么收到旋转影响的状态。

可以用函数cvCreateContourTree来构造轮廓树。

7.轮廓的凸包和凸缺陷

轮廓的凸包和凸缺陷用于描述物体的外形。凸包和凸缺陷很容易获得，不过我目前不知道它们到底怎么使用。

如果要判断轮廓是否是凸的，可以用cvCheckContourConvexity函数。

如果要获取轮廓的凸包，可以用cvConvexHull2函数，返回的是包含顶点的序列。

如果要获取轮廓的凸缺陷，可以用cvConvexityDefects函数。

8.轮廓的成对几何直方图

成对几何直方图（pairwise geometrical histogram PGH）是链码编码直方图（chain code histogram CCH）的一个扩展或者延伸。CCH是一种直方图，用来统计一个轮廓的Freeman链码编码每一种走法的数字。这种直方图的一个优良性质为当物体旋转45度，那么新直方图是老直方图的循环平移。这样就可以不受旋转影响。

（1）轮廓保存的是一系列的顶点，轮廓是由一系列线段组成的多边形。对于看起来光滑的轮廓（例如圆），只是线段条数比较多，线段长度比较短而已。实际上，电脑中显示的任何曲线都由线段组成。

（2）每两条线段之间都有一定的关系，包括它们（或者它们的延长线）之间的夹角，两条线段的夹角范围是：(0,180)。

（3）每两条线段上的点之间还有距离关系，包括最短（小）距离、最远（大）距离，以及平均距离。最大距离我用了一个偷懒的计算方法，我把轮廓外界矩形的对角线长度看作了最大距离。

（4）成对几何直方图所用的统计数据包括了夹角和距离。

轮廓的匹配

如果要比较两个物体，可供选择的特征很多。如果要判断某个人的性别，可以根据他（她）头发的长短来判断，这很直观，在长发男稀有的年代准确率也很高。也可以根据这个人尿尿的射程来判断，如果射程大于0.50米，则是男性。总之，方法很多，不一而足。

我们在上文中得到了轮廓的这么多特征，它们也可以用于进行匹配。典型的轮廓匹配方法有：Hu矩匹配、轮廓树匹配、成对几何直方图匹配。

1.Hu矩匹配

轮廓的Hu矩对包括缩放、旋转和镜像映射在内的变化具有不变性。cvMatchShapes函数可以很方便的实现对2个轮廓间的匹配。

2.轮廓树匹配

用树的形式比较两个轮廓。cvMatchContourTrees函数实现了轮廓树的对比。

3.成对几何直方图匹配

在得到轮廓的成对几何直方图之后，可以使用直方图对比的方法来进行匹配。


轮廓匹配源码1

下面为成对几何直方图匹配方法


轮廓的匹配源码